資料介紹
說實(shí)在的,這個(gè)概念有些過于高大上,從大的方面包括、、強(qiáng)化學(xué)習(xí)等等,而深度學(xué)習(xí)又包括圖像識別、語音識別、自然語言處理、預(yù)測分析;機(jī)器學(xué)習(xí)則包括監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí),監(jiān)督學(xué)習(xí)又細(xì)分為回歸、分類、決策樹等等。理論上人工智能什么都能做,什么都能迎合的上。
關(guān)鍵數(shù)據(jù)質(zhì)量管理實(shí)在太接地氣了,以至于大家都理解為數(shù)據(jù)質(zhì)量檢查規(guī)則定義、數(shù)據(jù)質(zhì)量檢查規(guī)則腳本、檢查規(guī)則執(zhí)行引擎、數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行情況監(jiān)控,數(shù)據(jù)質(zhì)量檢查報(bào)告;而數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則無非就是一致性、準(zhǔn)確性、性、真實(shí)性、及時(shí)性、關(guān)聯(lián)性、完整性的一堆校驗(yàn),再大白話一些無非就是語句。
而本人面臨的還不是基于數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量管理,數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策,數(shù)據(jù)倉庫的集成性和面向主題兩個(gè)特性決定了數(shù)據(jù)是有天然血緣關(guān)系的,血緣關(guān)系的存在是數(shù)據(jù)質(zhì)量追溯的前提,能夠抽絲剝繭一層層梳理,簡而言之,目的性就是為了保障端到端的數(shù)據(jù)準(zhǔn)確性。
剛?cè)肼氹娦胚\(yùn)營商的時(shí)候,主要負(fù)責(zé)經(jīng)營分析系統(tǒng)的流量業(yè)務(wù)和數(shù)據(jù)業(yè)務(wù),初步統(tǒng)計(jì)過經(jīng)分系統(tǒng)有七八千張表、幾千個(gè)存儲過程,從接口層到存儲層到中間表再到匯總層再到報(bào)表層,設(shè)計(jì)上倒也很合理,在不懂業(yè)務(wù)的情況下,為了快速上手,曾經(jīng)花了3個(gè)月時(shí)間去閱讀一百來張中間表的數(shù)百個(gè)存儲過程,形成了幾份人肉血緣關(guān)系文檔,再過一年基本就可以設(shè)計(jì)數(shù)據(jù)模型了,這是個(gè)笨方法,但也是最快速的辦法。
入職新公司后,每年推陳出新一大堆新概念,但基本上落地的很少,數(shù)據(jù)中心、數(shù)字平臺、數(shù)據(jù)平臺、數(shù)據(jù)中臺、數(shù)據(jù)湖、物聯(lián)網(wǎng)服務(wù)器、人工智能服務(wù)器平臺,云化重構(gòu),昨天閱讀到一篇文章,說數(shù)據(jù)湖就是懶人數(shù)據(jù)倉庫,公司非常想挖掘現(xiàn)有和歷史的業(yè)務(wù)數(shù)據(jù),但是還沒有詳細(xì)的規(guī)劃如何分析。所以需要先保存數(shù)據(jù),在考慮以后的分析,畢竟對于很多公司來說,數(shù)據(jù)就是巨大的資產(chǎn)。畢竟數(shù)據(jù)湖既新潮又解決不了實(shí)際問題,而且、mpp既廉價(jià)容量又大,關(guān)鍵是規(guī)避了數(shù)據(jù)質(zhì)量和企業(yè)數(shù)據(jù)模型,我想大概就是這個(gè)原因吧。
本人要面臨的是什么呢,一大堆業(yè)務(wù)系統(tǒng),一些半集中化的報(bào)表系統(tǒng),ETL工具五花八門,有ETL工具,有DBLink抽取的,有ogg同步的,業(yè)務(wù)系統(tǒng)之間靠主數(shù)據(jù)和SOA進(jìn)行數(shù)據(jù)協(xié)作,就像任何早期系統(tǒng)一樣,初衷設(shè)計(jì)是好的,實(shí)際落地都會大打折扣,于是出現(xiàn)了數(shù)據(jù)質(zhì)量問題,數(shù)據(jù)質(zhì)量問題又分解為技術(shù)問題和數(shù)據(jù)問題,技術(shù)問題當(dāng)然是追究系統(tǒng)建設(shè)的原因了,當(dāng)然也無法追究,畢竟上線那么多年了,數(shù)據(jù)問題要追究業(yè)務(wù)部門錄入人員和使用人員的責(zé)任,就涉及到數(shù)據(jù)認(rèn)責(zé),數(shù)據(jù)認(rèn)責(zé)又牽涉到各方利益,所以巴拉巴拉的。
但是工作還得做啊,盡人事聽天命嘛,個(gè)人認(rèn)為數(shù)據(jù)質(zhì)量問題短期內(nèi)解決數(shù)據(jù)同源問題,長期目標(biāo)是為了解決企業(yè)數(shù)據(jù)模型問題,畢竟數(shù)據(jù)質(zhì)量核查過程是了解數(shù)據(jù)的過程,了解數(shù)據(jù)的過程就是不斷熟悉業(yè)務(wù)的過程,熟悉業(yè)務(wù)自然就會站在業(yè)務(wù)人員的角度去考慮企業(yè)數(shù)據(jù)模型問題。
前面是講了數(shù)據(jù)質(zhì)量問題的目標(biāo),當(dāng)然要數(shù)據(jù)質(zhì)量問題不可避免要涉及到制度機(jī)制、平臺工具、運(yùn)營團(tuán)隊(duì)。
一、基于數(shù)據(jù)管理能力成熟度和公司數(shù)據(jù)管理過程中的問題制定一系列實(shí)際可操作可落地的數(shù)據(jù)管理制度。
二、關(guān)于數(shù)據(jù)認(rèn)責(zé),要基于業(yè)務(wù)場景開展嘗試,而不是胡子眉毛一把抓
三、建立一套綜合數(shù)據(jù)質(zhì)量平臺,為數(shù)據(jù)質(zhì)量提供自動(dòng)、自助、智能化的平臺支撐,數(shù)據(jù)還是要集中的,不集中什么都治不了
四、搭建一套數(shù)據(jù)閉環(huán)管理流程,自下而上收集問題處理問題
五、有一套數(shù)據(jù)治理組織架構(gòu),這個(gè)一般雷聲大雨點(diǎn)小,那就從自我做起吧,一個(gè)數(shù)據(jù)運(yùn)營團(tuán)隊(duì)和相關(guān)分工還是要的。
搞到最后,還是少不了錢,有錢不是萬能的,沒錢是萬萬不能的,制度、平臺、團(tuán)隊(duì)都是靠錢的。
前面講了一堆數(shù)據(jù)質(zhì)量的事情,怎么解決ai服務(wù)器的問題呢?其實(shí)也借鑒了一些網(wǎng)上的部分,當(dāng)然自己也反復(fù)思考,為了工作夜不能寐。
數(shù)據(jù)質(zhì)量的問題主要發(fā)生在源端、傳輸過程和目標(biāo)端,這話說起來容易,實(shí)施起來難,幾萬張表上百萬字段估計(jì)一輩子耗進(jìn)去都脫身不出來,怎么辦,靠人工智能和浪潮服務(wù)器專家的經(jīng)驗(yàn)。
- 人工智能是干嘛的 人工智能在金融行業(yè)的應(yīng)用 0次下載
- 關(guān)于人工智能在數(shù)據(jù)質(zhì)量管理中的應(yīng)用 4次下載
- 人工智能技術(shù)對監(jiān)控系統(tǒng)有什么樣的影響 0次下載
- PCB質(zhì)量管理工作培圳資料(全面質(zhì)量管理) 0次下載
- 質(zhì)量管理系統(tǒng)與文件化
- 質(zhì)量管理與統(tǒng)計(jì)分析
- 軟件質(zhì)量管理
- 全面質(zhì)量管理在學(xué)校管理之實(shí)踐
- 質(zhì)量管理的三種聲音
- 醫(yī)療質(zhì)量管理系統(tǒng)
- 質(zhì)量管理與決策分析學(xué)
- 質(zhì)量管理手冊
- 全面質(zhì)量管理公開課(培訓(xùn)計(jì)劃)
- 質(zhì)量管理概論手冊
- 質(zhì)量管理文件匯編 (食品安全認(rèn)證的質(zhì)量管理文件)
- 人工智能在智能制造的應(yīng)用場景 6006次閱讀
- 人工智能如何與服務(wù)管理相互作用?AI在服務(wù)管理中有哪些好處? 4358次閱讀
- ISO9000概述,質(zhì)量管理體系的建立 9332次閱讀
- 人工智能在實(shí)體零售有什么作用的八個(gè)典型應(yīng)用場景資料介紹 5850次閱讀
- 人工智能對醫(yī)療行業(yè)有什么作用 2.1w次閱讀
- 人工智能在能源行業(yè)的5個(gè)應(yīng)用方向和對應(yīng)的案例 6841次閱讀
- 人工智能在能源行業(yè)的5個(gè)應(yīng)用方向及對應(yīng)案例 1.8w次閱讀
- 人工智能在醫(yī)藥健康領(lǐng)域應(yīng)用分析 1552次閱讀
- 人工智能在金融領(lǐng)域的應(yīng)用與監(jiān)管 7756次閱讀
- 人工智能在視頻應(yīng)用中的實(shí)踐探索,涉及編解碼器、超分辨率等 9052次閱讀
- 人工智能技術(shù)有哪些_人工智能技術(shù)的原理 6.1w次閱讀
- ai教育公司有哪些_人工智能教育公司排名 8w次閱讀
- 全球人工智能大學(xué)有哪些_人工智能全球大學(xué)排名 5.4w次閱讀
- 人工智能需要哪些知識_人工智能需要學(xué)什么_如何自學(xué)人工智能 4.4w次閱讀
- 人工智能入門基礎(chǔ) 7548次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1491次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 95次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 11次下載 | 免費(fèi)
- 6100W短波放大電路圖
- 0.05 MB | 4次下載 | 3 積分
- 7基于單片機(jī)和 SG3525的程控開關(guān)電源設(shè)計(jì)
- 0.23 MB | 4次下載 | 免費(fèi)
- 8基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537793次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評論