女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

只有大公司才能負擔起大數據驅動的解決方案嗎

姚小熊27 ? 來源:TechWeb.com.cn ? 作者:TechWeb.com.cn ? 2020-11-30 10:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

目前最大的誤區之一仍然是,只有大公司才能負擔得起大數據驅動的解決方案,它只適用于海量數據,而且價格昂貴。這已不再是事實,有幾次技術變革改變了這種心態。

大數據技術的成熟度

第一次技術變革與成熟度和質量有關。毫無疑問,十年前,大數據技術需要做出一定的努力才能使其工作或使所有部分協同工作。

過去有無數來自開發人員的故事,他們浪費了80%的時間試圖用Spark,Hadoop,Kafka或其他方法克服愚蠢的故障。如今,這些技術已變得足夠可靠,它們消除了早期的各種故障并學會了如何相互配合。

與捕捉內部錯誤相比,出現基礎設施故障的機會要大得多。在大多數情況下,即使是基礎設施問題也可以容忍,因為大多數大數據處理框架的設計都是容錯的。此外,這些技術為計算提供了穩定、強大和簡單的抽象,并允許開發人員專注于開發的業務方面。

各種大數據技術

第二次技術變革正在發生——近年來,無數的開源和專有技術被發明出來——Apache Pino、Delta Lake、Hudi、Presto、Clickhouse、Snowflake、Upsolver、Serverless等等。數千名開發者的創造力和創意已經轉化為大膽而卓越的解決方案,并具有巨大的激勵作用。

讓我們討論一個典型的分析數據平臺(ADP)。它包括四個主要層次:

· 儀表板和可視化– ADP的外觀,向最終用戶提供分析摘要。

· 數據處理–數據流水線,用于驗證,豐富和轉換數據從一種形式到另一種形式。

數據倉庫–存放組織良好的數據的地方–匯總,數據集市等

· Data Lake,用于存放純原始數據的地方,是Data Warehouse的基礎。

· 每個等級都有足夠的替代品,可滿足任何口味和要求。這些技術中有一半是在過去5年內出現的。

關于它們的重要一點是,技術的開發旨在相互兼容。例如,典型的低成本小型ADP可能包含Apache Spark作為處理組件的基礎,AWS S3或類似的Data Lake,Clickhouse作為倉庫,OLAP用于低延遲查詢,而Grafana用于漂亮的儀表板。

具有更強保證的更復雜的ADP可以以不同的方式組成。例如,將Apache Hudi和S3引入作為數據倉庫可以確保更大的規模,而Clickhouse仍然可以低延遲地訪問聚合數據。

成本效益

第三次技術變革是由云端造成的。云服務成為真正的游戲規則改變者。他們將大數據作為即用型平臺(大數據即服務)進行處理,使開發人員可以專注于功能開發,從而使云計算能夠關注基礎架構。

開發人員可以選擇特定技術和一定程度的無服務器。無服務器越多,它的可組合性就越好,但是更多的供應商鎖定將使它成為不利的一面。鎖定在特定的云提供商和無服務器堆棧上的解決方案可以縮短上市時間。在無服務器技術之間明智地選擇可使解決方案具有成本效益。

盡管此選項對初創公司而言不是很有用,因為它們傾向于利用典型的10萬美元云信用額度,并且在AWS,GCP和Azure之間進行跳轉是一種很普通的生活方式。必須事先弄清這個事實,而必須提出更多與云無關的技術。

通常,工程師會區分以下成本:開發費用、維修費用、變更成本。

開發費用

云技術無疑簡化了工程工作。有好幾個區域對它有積極的影響。

第一個是架構和設計決策。無服務器堆棧提供了豐富的模式和可重用組件集,為解決方案的體系結構提供了堅實而一致的基礎。

只有一個問題可能會減慢設計階段:大數據技術是自然分布的,因此在設計相關解決方案時必須考慮可能的故障和中斷,以確保數據的可用性和一致性。另外,解決方案所需的精力更少,可以擴展。

第二個是集成和端到端測試。無服務器堆棧允許創建隔離的沙箱,播放,測試,修復問題,從而減少開發回送和時間。

另一個優勢是,云強加了解決方案部署過程的自動化。不用說,此功能是任何成功團隊的必備屬性。

維修費用

云提供商聲稱要解決的主要目標之一是減少監視和保持生產環境活動的精力。他們試圖建立幾乎沒有零投入的理想抽象。

但是,實際情況有所不同。關于這個想法,通常維護仍然需要一些努力。下表突出顯示了最突出的種類。

但除此之外,該方案在很大程度上取決于基礎架構和許可成本。設計階段非常重要,因為它可以挑戰特定技術并提前估算其運行時間成本。

變更成本

大數據技術關注客戶的另一個重要方面-變更成本。我們的經驗表明,大數據與任何其他技術之間沒有區別。如果解決方案不是過度設計的,那么變更的成本就可以與非大數據堆棧完全媲美。大數據帶來了一個好處。大數據解決方案被設計為分離是很自然的。設計正確的解決方案看起來不像是整體解決方案,可以在需要的地方短期內應用局部更改,而影響生產的風險較小。

總而言之,我們確實認為大數據可以負擔得起。它為開發人員提出了新的設計模式和方法,開發人員可以利用它來組裝符合最嚴格的業務要求并同時具有成本效益的任何分析數據平臺。

大數據驅動的解決方案可能是快速成長的初創公司的良好基礎,這些初創公司希望變得靈活,應用快速更改且TTM跑道短。一旦企業需要更大的數據量,大數據驅動的解決方案就可以與企業一起擴展。

大數據技術允許以小規模或大規模實施近實時分析,而經典解決方案卻難以與性能相提并論。

云提供商已將大數據提升到了新的水平,從而提供了可靠,可擴展和即用的功能。快速交付來開發具有成本效益的ADP從未如此簡單。利用大數據提升您的業務。
責任編輯:YYX

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • ADP
    ADP
    +關注

    關注

    0

    文章

    23

    瀏覽量

    15861
  • 大數據
    +關注

    關注

    64

    文章

    8960

    瀏覽量

    140181
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    基于安森美MOSFET的12V EPS系統解決方案

    汽車行業競爭激烈,節奏飛快,只有快速適應和持續創新才能讓企業立于不敗之地。在本成功案例中,安森美(onsemi)深入理解并解決客戶痛點,及時快速向客戶交付了適用于其12 V 電動助力轉向系統(EPS)的創新解決方案
    的頭像 發表于 04-25 13:40 ?634次閱讀
    基于安森美MOSFET的12V EPS系統<b class='flag-5'>解決方案</b>

    云知聲與宜興大數據公司簽署合作協議

    近日,江蘇云知聲科技有限公司(簡稱“云知聲”)與宜興市大數據發展有限公司(簡稱“大數據公司”)簽署合作協議,攜手推動區域數字化協同發展,共同
    的頭像 發表于 04-10 11:49 ?437次閱讀

    抓住AI時代機遇,從伙伴與華為共筑行業解決方案開始

    立足行業解決方案才能贏得AI時代
    的頭像 發表于 04-07 17:46 ?698次閱讀
    抓住AI時代機遇,從伙伴與華為共筑行業<b class='flag-5'>解決方案</b>開始

    優化800G數據中心:高速線纜、有源光纜和光纖跳線解決方案

    隨著技術的飛速發展,數據中心正在從100G和400G演進到800G時代,對高速數據傳輸的需求與日俱增。因此,選擇高效且可靠的布線解決方案對于800G數據中心至關重要。本文將深入探討80
    發表于 03-24 14:20

    大華股份聯合申報方案入選全國智慧旅游十佳解決方案

    近日,文化和旅游部正式公示了《2024年全國智慧旅游解決方案擬入選名單》,備受矚目的十佳解決方案名單也隨之揭曉。其中,由大華股份聯合杭州西湖風景名勝區管理委員會、杭州西湖大數據運營有限公司
    的頭像 發表于 01-18 11:47 ?708次閱讀

    泰雷茲發布數據風險智能解決方案

    近日,泰雷茲公司正式推出了其創新性的數據風險智能解決方案(Data Risk Intelligence),該方案基于Imperva數據安全平
    的頭像 發表于 12-27 14:46 ?512次閱讀

    智慧農業解決方案是什么?有什么作用?

    隨著科技的飛速發展,智慧農業解決方案作為現代農業的重要發展方向,正在逐步改變傳統的農業生產方式。智慧農業解決方案利用物聯網、大數據、云計算、人工智能等先進技術,對農業生產進行精細化、智能化管理,從而
    的頭像 發表于 11-03 20:13 ?622次閱讀

    emc存儲解決方案的優勢

    在當今這個數據驅動的時代,企業對于數據存儲的需求日益增長。EMC,作為全球領先的數據存儲解決方案提供商,以其創新的技術、高性能的產品和全面的
    的頭像 發表于 11-01 15:16 ?1051次閱讀

    PLC數據采集解決方案

    問題,這些問題限制了企業生產力的提升和管理效能的增強。因此,打造一套高效率、高可靠性的PLC數據采集解決方案顯得尤為關鍵。 二、解決方案概述 針對工業生產中的數據采集需求,我們提出一套基于PLC的
    的頭像 發表于 10-31 15:58 ?753次閱讀
    PLC<b class='flag-5'>數據采集解決方案</b>

    智慧城市與大數據的關系

    智慧城市與大數據之間存在著密切的關系,這種關系體現在大數據對智慧城市建設的支撐和推動作用,以及智慧城市產生的大量數據大數據技術的應用需求。 大數據
    的頭像 發表于 10-24 15:27 ?1325次閱讀

    基于Kepware的Hadoop大數據應用構建-提升數據價值利用效能

    處理超大數據集。 Hadoop的生態系統非常豐富,包括許多相關工具和技術,如Hive、Pig、HBase等,這些工具可以方便地構建復雜的大數據應用。Hadoop廣泛應用于各種場景,包括數據處理和分析、
    的頭像 發表于 10-08 15:12 ?352次閱讀
    基于Kepware的Hadoop<b class='flag-5'>大數據</b>應用構建-提升<b class='flag-5'>數據</b>價值利用效能

    英偉達市值躍升全球第二

    近日,全球科技領域的競爭格局再度發生變動。據最新數據顯示,英偉達公司的市值在周一成功超越微軟,躍居全球第二大公司,僅次于蘋果公司
    的頭像 發表于 10-08 14:38 ?602次閱讀

    智慧部隊建設整體解決方案

    智慧華盛恒輝部隊建設整體解決方案是一個綜合性的系統,旨在通過現代信息技術的運用,提升部隊的管理效率、戰斗力及信息化水平。以下是一個詳細的解決方案概述: 一、華盛恒輝總體架構 智慧部隊建設整體解決方案
    的頭像 發表于 09-06 15:18 ?652次閱讀

    韓國兩大公司合并,挑戰NVIDIA在AI芯片領域的領導地位

    8月19日傳來消息,韓國兩大科技巨頭SK電信旗下的Sapeon Korea與KT支持的Rebellions公司正式宣布了合并計劃,預計這一戰略整合將于2024年底圓滿完成。此次強強聯合后,新實體的企業估值有望突破1萬億韓元大關,明確釋放出挑戰全球AI芯片行業領頭羊NVIDIA的雄心壯志。
    的頭像 發表于 08-19 15:02 ?938次閱讀

    中交興路入選中國信通院“卓信大數據計劃”

    為推動我國數字經濟更加健康可持續發展,不斷提升全行業數據安全能力,中國信息通信研究院(以下簡稱:中國信通院)已連續3年發起“卓信大數據計劃” ,助力成員企業打造業內權威的數據安全治理的全要素
    的頭像 發表于 07-23 09:29 ?819次閱讀
    中交興路入選中國信通院“卓信<b class='flag-5'>大數據</b>計劃”