只聞其名,不見其形,從小聽到大的”黑洞“,終于讓我們?cè)谟猩暌姷搅怂恼嫒荩荒苷f(shuō)幽暗的宇宙美麗也調(diào)皮,長(zhǎng)久以來(lái)人類關(guān)于黑洞的探索,在這一刻終于得到影像印證。相信很多人心中都有一個(gè)疑惑,為黑洞拍張照片需要兩年時(shí)間?究其原因一個(gè)字“難”!難在哪?“數(shù)據(jù)”!
首先,望遠(yuǎn)鏡觀測(cè)到的數(shù)據(jù)量非常龐大,2017年時(shí)8個(gè)望遠(yuǎn)鏡的數(shù)據(jù)量達(dá)到了10PB,2018年又增加了格陵蘭島望遠(yuǎn)鏡,龐大的數(shù)據(jù)量讓數(shù)據(jù)處理的難度不斷加大,且在數(shù)據(jù)處理的過程當(dāng)中還伴隨著不少技術(shù)難題。
這張“沖洗”出的照片,蘊(yùn)含著復(fù)雜的后期數(shù)據(jù)處理分析,而這一過程中涉及的數(shù)據(jù)量之多,處理難度之大都是前所未有的。那有沒有辦法,盡快揭開宇宙神秘的面紗?有沒有辦法,在面對(duì)龐大數(shù)據(jù)量的時(shí)候,我們有更高效快捷的方式去處理它們呢?
強(qiáng)勢(shì)應(yīng)對(duì)海量數(shù)據(jù) 內(nèi)存分析放大招
就拿一張小小的黑洞照片來(lái)說(shuō),它背后的數(shù)據(jù)量需要一萬(wàn)塊500GB硬盤才能裝滿,而這一萬(wàn)塊硬盤高達(dá)半噸之重,這么”重“的數(shù)據(jù),分析起來(lái)已經(jīng)夠難,還想要快速分析那更是難上加難!龐大的數(shù)據(jù)量不應(yīng)該成為人類進(jìn)步的絆腳石,恰恰相反,將其中蘊(yùn)含的價(jià)值挖掘出來(lái),我們將擁有無(wú)限寶貴資源。
根據(jù)IDC預(yù)測(cè),到2025年,全球數(shù)據(jù)量將從2018年的33ZB增加到175ZB,隨著接入大容量數(shù)據(jù)能力的提高,從這些數(shù)據(jù)中提取價(jià)值的需求勢(shì)必也在提升。而這也意味著我們了更廣泛的工具選擇,其中內(nèi)存分析就是一個(gè)絕好的工具,那么它在處理海量數(shù)據(jù)時(shí)到底有多靠譜?
首先,顧名思義,內(nèi)存分析就是將數(shù)據(jù)在存儲(chǔ)層向上移動(dòng),使其更接近CPU,以便加快內(nèi)存訪問速度以更快地進(jìn)行分析,并縮短獲取洞察的時(shí)間。所以,倘若那半噸重的數(shù)據(jù),運(yùn)用內(nèi)存分析或許我們就不會(huì)等那么久了。
內(nèi)存分析的優(yōu)勢(shì)可不少,其中包括降低IT成本、簡(jiǎn)化基礎(chǔ)設(shè)施、延長(zhǎng)運(yùn)行時(shí)間、降低時(shí)延、優(yōu)化數(shù)據(jù)同步、減少數(shù)據(jù)副本以及縮短開發(fā)周期。此外,更快速地提供大量更深入的實(shí)時(shí)洞察,從而幫助創(chuàng)造新的機(jī)會(huì),以推動(dòng)和增強(qiáng)服務(wù)交付。
光說(shuō)不練假把式 應(yīng)用案例來(lái)一遍
內(nèi)存分析如此強(qiáng)大,在助力臨床醫(yī)療、零售業(yè)、金融服務(wù)業(yè)、智能運(yùn)營(yíng)供應(yīng)鏈、呼叫中心和客戶流失方面都已全面落地,并表現(xiàn)出色。下面我們就來(lái)看看運(yùn)用內(nèi)存分析解決行業(yè)痛點(diǎn)的兩個(gè)真實(shí)案例,一睹其風(fēng)采。
全球領(lǐng)先的專業(yè)化學(xué)品公司Evonik,致力于實(shí)現(xiàn)總體擁有成本(TCO)效率的進(jìn)一步提升,經(jīng)過精挑細(xì)選,最后采用了內(nèi)存分析方法解決了實(shí)際工作中遇到的難題。現(xiàn)在Evonik可以靈活并更高效地將數(shù)據(jù)集集成到其SAPHANA*平臺(tái)中,并做好存儲(chǔ)大容量數(shù)據(jù)集的準(zhǔn)備。除此之外,一家提供全國(guó)廣告產(chǎn)品的ZypMedia公司,借助內(nèi)存分析確保了每秒處理大約500,000個(gè)事務(wù)請(qǐng)求,響應(yīng)時(shí)間低至半毫秒,憑借速度和靈活性提供這種高質(zhì)量服務(wù)。
深入了解內(nèi)存分析傳統(tǒng)架構(gòu)已力不從心
內(nèi)存分析已經(jīng)在如此多的場(chǎng)景順利落地,并幫助企業(yè)巧妙化解行業(yè)難題,相信好奇的寶寶們心中已經(jīng)有了一個(gè)疑問,如此強(qiáng)大的內(nèi)存分析,需求一定少不了,這對(duì)于IT負(fù)責(zé)人來(lái)說(shuō)挑戰(zhàn)可不小,因?yàn)樗麄冃枰獜母蟮臄?shù)據(jù)集中提取更多價(jià)值。此時(shí),不得不考慮他們所采用的架構(gòu)能否支持內(nèi)存運(yùn)營(yíng),以及如何滿足目前和將來(lái)的需求。
由于架構(gòu)方面的需求基本取決于組織的能力和經(jīng)驗(yàn),而傳統(tǒng)的架構(gòu)可能會(huì)使用運(yùn)營(yíng)數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和管理當(dāng)前數(shù)據(jù),在將這些數(shù)據(jù)發(fā)送到組織數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行分析前,需要先對(duì)其進(jìn)行批處理。然而,在許多企業(yè)中,這一模式正在逐漸被單一混合事務(wù)和分析處理架構(gòu)取代,如此一來(lái),便可以為一些受益于內(nèi)存分析的關(guān)鍵平臺(tái)和應(yīng)用提供支持。而如果考慮采用HTAP,則需要考慮哪種形式更適合當(dāng)前業(yè)務(wù)。然而,內(nèi)涵式HTAP則更進(jìn)了一步,其將分析功能嵌入事務(wù)本身以影響其結(jié)果。
不難發(fā)現(xiàn),更高的工作需求,要求我們必須采用支持實(shí)時(shí)數(shù)據(jù)處理和分析的IT基礎(chǔ)設(shè)施。那么,到底有沒有一種架構(gòu)可以完美支持所需內(nèi)存運(yùn)行,并能夠滿足目前和將來(lái)的需求呢?答案來(lái)了,上面提到的化學(xué)公司正是借助了英特爾?傲騰TM數(shù)據(jù)中心級(jí)持久內(nèi)存,改善了實(shí)際性能和總體擁有成本;而廣告產(chǎn)品公司則借助英特爾?至強(qiáng)?可擴(kuò)展處理器,實(shí)現(xiàn)了動(dòng)態(tài)廣告投放。
而這一切都要?dú)w功于英特爾?至強(qiáng)?平臺(tái)構(gòu)建內(nèi)存分析堆棧,讓采集和處理大容量數(shù)據(jù)能力大大提升,已達(dá)到幫助行業(yè)實(shí)時(shí)甚至提前識(shí)別趨勢(shì)與洞察并做出響應(yīng)。由此可見,存儲(chǔ)和內(nèi)存方面的創(chuàng)新型產(chǎn)品,確實(shí)將困擾我們的數(shù)據(jù)難題快速解決消化,不信你接著看,適用于數(shù)據(jù)中心的英特爾?傲騰TM固態(tài)盤,其采用非易失性內(nèi)存技術(shù),可提供類似DRAM的性能并具有固態(tài)盤存儲(chǔ)的持久性。為了推進(jìn)這一變革,英特爾?傲騰TM數(shù)據(jù)中心級(jí)持久內(nèi)存,配備全新一代的英特爾?至強(qiáng)?可擴(kuò)展處理器,將此優(yōu)勢(shì)與CPU內(nèi)存總線直接結(jié)合。這樣一來(lái),可更好地兼顧高容量、經(jīng)濟(jì)性和持久性。
極簡(jiǎn)內(nèi)存分析助力數(shù)據(jù)資源價(jià)值最大化
數(shù)據(jù)處理能力永遠(yuǎn)趕不上生成數(shù)據(jù)的速度,因此,必須將數(shù)據(jù)戰(zhàn)略的重點(diǎn)放在充分發(fā)揮數(shù)據(jù)資源的價(jià)值上,那么如何將好鋼用在刀刃上呢?為簡(jiǎn)化內(nèi)存分析,英特爾不僅設(shè)計(jì)并優(yōu)化了一系列數(shù)據(jù)中心技術(shù),用以加快數(shù)據(jù)驅(qū)動(dòng)型洞察,還在存儲(chǔ)架構(gòu)上做了不小的文章,使得內(nèi)存容量超出DRAM限制,更好地兼顧性能和成本。如此一來(lái),就可以提供內(nèi)存分析工作負(fù)載通常所需的快速可擴(kuò)展性和靈活性。除了持續(xù)致力于硬件創(chuàng)新外,它們開發(fā)了通過基準(zhǔn)測(cè)試且完全集成的軟件和硬件堆棧,支持特定工作負(fù)載,縮短服務(wù)交付時(shí)間和上市時(shí)間。
內(nèi)存數(shù)據(jù)庫(kù)已不單單是面向特殊分析工作負(fù)載的一種昂貴方案,而是在向著實(shí)現(xiàn)更廣泛的目標(biāo)轉(zhuǎn)變。從人類生活到行業(yè)應(yīng)用,甚至到宇宙探索,人類數(shù)據(jù)正以指數(shù)級(jí)增長(zhǎng),面對(duì)海量數(shù)據(jù),如何充分發(fā)揮數(shù)據(jù)資源價(jià)值,基于英特爾?至強(qiáng)?平臺(tái)構(gòu)建的內(nèi)存分析堆棧給了我們最好的答案。當(dāng)然我們也相信,未來(lái)英特爾將會(huì)有更多的創(chuàng)新與探索,為企業(yè)數(shù)據(jù)帶來(lái)革新的同時(shí),創(chuàng)造無(wú)限可能性。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7255瀏覽量
91818 -
內(nèi)存
+關(guān)注
關(guān)注
8文章
3122瀏覽量
75248 -
架構(gòu)
+關(guān)注
關(guān)注
1文章
528瀏覽量
25978
原文標(biāo)題:一張“黑洞”需要拍兩年?有了它或許就不會(huì)讓大家等那么久了
文章出處:【微信號(hào):mcuworld,微信公眾號(hào):嵌入式資訊精選】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
運(yùn)算放大器積分電路分析
應(yīng)對(duì)海量數(shù)據(jù)挑戰(zhàn),如何基于Euro NCAP標(biāo)準(zhǔn)開展高效智駕測(cè)試與評(píng)估?

利用Minitab應(yīng)對(duì)供應(yīng)鏈中斷問題
矚目!海量數(shù)據(jù)再獲2024年度openGauss社區(qū)突出貢獻(xiàn)單位

康謀分享 | 如何應(yīng)對(duì)ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

芯片的失效性分析與應(yīng)對(duì)方法

數(shù)據(jù)可視化與數(shù)據(jù)分析的關(guān)系
DDR內(nèi)存與數(shù)據(jù)傳輸速度的關(guān)系
WDS分布式存儲(chǔ)系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲(chǔ)項(xiàng)目

海量數(shù)據(jù)處理需要多少RAM內(nèi)存
Linux內(nèi)存泄露案例分析和內(nèi)存管理分享

評(píng)論