女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

分享海量大數據背后的處理技術的原理

貿澤電子 ? 來源:djl ? 作者:Murray Slovick ? 2019-08-29 10:34 ? 次閱讀

幾乎每個人當然也包括工程師都聽說過集成電路領域的摩爾定律,即戈登.摩爾預測,工藝技術的進步將導致芯片上的晶體管數量大約每兩年就翻一番。但只有少數人聽說過網絡領域的摩爾定律,即梅特卡夫定律,它由羅伯特.梅特卡夫提出,他指出通信網絡的價值正比于系統內連接用戶數量的平方。簡單地說,網絡服務的用戶越多,該網絡服務對全體用戶的價值也越大。

現在,讓我們思考一下物聯網IOT),在這個網中的用戶并不一定是人,而是一個機器。人們開發了以太網系統,通過硬件來連接建筑物內的不同機器。它已演變成一系列網絡技術,其最新迭代是40 / 100 千兆以太網(GE)標準,也被稱為IEEE 802.3ba,特別針對數據中心通訊。

為管理不間斷的高速連接,當前的數據中心需要容納成千上萬臺主機服務器,這些服務器組成一個集群。每個主機包含一個或多個處理器、內存、網絡接口以及本地高速I/O,它們通過高帶寬網絡緊耦合連接。大多數情況下,以太網采用集群方式連接(其次是采用InfiniBand)。

爆炸式增長

數據中心行業在不斷壯大,隨著全球更多設備加入線上網絡以及更多的企業轉向云計算以共享使用數據基礎設施,這種發展的速度還在加速。對于數據中心市場以及供應商和相關技術來說,IoT對它們的轉型影響最大。據研究公司Gartner推測,到2020年,IoT設備的安裝量將達260億臺,它們生成的大數據規模將無法想象,而且這些數據還需要實時的處理和分析。這些數據占數據中心負載的比重也將越來越大,到時供應商將面臨容量、速度、分析和安全等方面的新挑戰。

分享海量大數據背后的處理技術的原理

圖1:互連設備總量,單位是10億臺(來源:Gartner)

需求帶寬

索引擎提供商和其它大數據用戶(社交媒體論壇、在線購物網站,流媒體視頻供應商)為順暢的數據中心連接管道付出高額成本。以搜索引擎為例,數千臺服務器通過關鍵字和元數據來索引整個互聯網以提供網絡搜索服務。谷歌每天的索引高達200億頁面。一旦它們完成這項任務,為保持相關性,這些索引必須迅速轉移到其它數據中心。為適應該需求,連接數據中心的管道必須足夠寬。但索引移動之后,管道的利用率就下降,此時服務器就可用于其它業務,但假設數據移動的不夠快,服務器就不得不暫停。

因此帶寬是大數據最大的考慮因素之一。這是一個簡單直觀的概念:更快連接,更好服務。目前,10Gbps的傳輸率是目前以太網中廣泛使用的最快連接。為更易于理解,對比之下大多數家庭和企業使用5類雙絞線電纜連接到以太網,最大傳輸率是1Gbps。

對于其中的內部基礎設施,數據中心開始采用面向40Gbps到10Gbps以太網連接的IEEE802.3ba標準——比家庭雙絞線電纜快40到100倍。最先由IEEE在2010年規定,100千兆以太網(簡稱100GbE)和40千兆以太網(簡稱40GbE)為首批實例,在一個單一的標準中規定兩個不同的以太網速度。兩種不同速度的采用來自于兩種不同的應用要求,40Gbps的速率用以支持本地服務器應用,而100 GbE以太網更適用于網絡聚合應用,如服務提供商的客戶端連接、互聯網骨干網、核心網等等。兩年前, IEEE帶寬評估報告預計,核心網絡帶寬每18個月就翻一番,而服務器帶寬則是每24個月增加一倍。

數據中心內已經開始部署40Gbps和100Gbps以太網鏈路,這里的通信帶寬要求最高,比如中心內機架到機架通信。大多數中心仍使用40GbE,但隨著需求日益增加,快速遷移到100GbE以太網只是時間問題。互聯網服務商對管道需求最高,已經開始采用100GbE,而路由器也已經支持該標準。

移動設備應用程序的繁盛使“東西通信”的重要性突顯(服務器之間的通信或者是存儲器到服務器之間的通信),而不再是傳統的“南北通信”(客戶端到服務器)。據思科所述,去年移動數據流量總和幾乎是2000年全球互聯網流量的18倍。2000年,全球互聯網總共傳輸了一百億億字節 (EB)的流量,而2013移動網絡承載了近18 EB的流量。

英特爾計算,每打開600部手機,就需要一個服務器的容量來滿足這些手機流量請求。而每120個平板則需要另一臺服務器,類似的,每臺服務器支撐約20個數字標牌,或12個監控攝像頭。

就在你看這篇微信的幾分鐘內 ,全球就產生了大量的數據,你知道全球一分鐘產生多少數據嗎?這是2014年5月最新的數據:

全球一分鐘傳送數據約64萬GB;發布了2億400萬封郵件;下載了4.7萬個App;亞馬遜賣出了8.3萬美元的貨物;Flickr發布了2000萬張照片;Youtube的視頻被查看了130萬次;Facebook被查看了600萬次;Pandora電臺播放了總計6.1萬小時的歌曲。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 服務器
    +關注

    關注

    13

    文章

    9683

    瀏覽量

    87274
  • 數據中心
    +關注

    關注

    16

    文章

    5135

    瀏覽量

    73190
  • 大數據
    +關注

    關注

    64

    文章

    8950

    瀏覽量

    139464
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    云計算、大數據處理技術交流

    云計算、大數據處理技術交流圖形圖像是數據處理量最大的版塊之一,也是當今云計算的重要課題之一,圖形圖像處理大會給大家帶來諸多名家方案,探究大數據
    發表于 09-16 14:18

    常用大數據處理技術歸類

    “21世紀最缺的是什么?人才!”。在大數據發展如此之快的今天,大數據工程師已經成為一個新興職業。大數據是信息技術,是人和人、人和機器、機器和機器交互的內容特征,是最底層的信息
    發表于 02-28 17:02

    海量數據處理技術

    MapReduceMapReduce是云計算的核心技術之一,是一種簡化并行計算的分布式編程模型,主要目的是為了大型集群的系統能在大數據集上進行并行工作,并用于大規模數據的并行運算。以上是處理
    發表于 03-23 14:23

    大數據運用的技術

    大數據是對海量數據進行存儲、計算、統計、分析處理的一系列處理手段,處理
    發表于 04-08 16:50

    大數據專業技術學習之大數據處理流程

    集中的大型分布式數據庫 或者分布式存儲集群,利用分布式技術來對存儲于其內的集中的海量數據進行普通的查詢和分類匯總等,以此滿足大多數常見的分析需求。特點和挑戰:導入
    發表于 06-11 16:41

    大數據開發核心技術詳解

    數據的核心是云技術和BI。關于大數據和云計算的關系人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:云計算就是硬件資源的虛擬化;大數據就是
    發表于 07-26 16:26

    NLPIR系統KGB知識圖譜技術助力大數據深度挖掘

      大數據時代的到來,意味著海量數據的產生,給我們現有的數據存儲技術帶來了巨大的挑戰。而隨著時代的進步,
    發表于 12-05 11:49

    什么是大數據大數據的特點有哪些

    大數據(big data)目錄1什么是大數據2大數據的定義3大數據的特點[1]4大數據的作用[2]5大數
    發表于 07-12 06:52

    大數據技術與應用是學什么的?

    大數據技術與應用是學什么的?大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理數據集合。
    發表于 07-27 07:47

    云端海量大數據的安全防護

    云端海量大數據數據分析的基礎,數據本身的安全性和準確性,對數據分析的結果有重要影響。針對云端大數據的特性,融合Hadoop的
    發表于 12-11 17:18 ?0次下載
    云端<b class='flag-5'>海量大數據</b>的安全防護

    大數據海量數據處理方法總結

    大數據海量數據處理方法總結。
    發表于 04-26 09:16 ?13次下載

    大數據技術及應用介紹2

    大數據技術內涵持續進行延伸,經過十三五的發展,已從面向海量數據的存儲、處理、分析等基礎技術,延展
    的頭像 發表于 03-29 14:17 ?1120次閱讀

    大數據技術主要學什么 大數據技術就業方向

    大數據技術專業主要包括以下方面的學習內容:   數據技術數據庫是存儲和管理數據的關鍵
    的頭像 發表于 04-14 17:21 ?7162次閱讀

    大數據技術有哪些 大數據前景

    大數據從字面意思來理解,就是海量數據的結合,從數據分析全流程的角度,大數據技術主要包括
    的頭像 發表于 04-14 17:45 ?4479次閱讀

    大數據技術是干嘛的 大數據核心技術有哪些

    大數據技術是指用來處理和存儲海量、多類型、高速的數據的一系列技術和工具。現如今,
    的頭像 發表于 01-31 11:07 ?4855次閱讀