數(shù)字化時代,企業(yè)需要知道他們擁有什么數(shù)據(jù),數(shù)據(jù)在哪里、由誰負(fù)責(zé),數(shù)據(jù)中的值意味著什么,數(shù)據(jù)的生命周期是什么,哪些數(shù)據(jù)安全性和隱私性需要保護(hù),以及誰使用了數(shù)據(jù),用于什么業(yè)務(wù)目的,數(shù)據(jù)的質(zhì)量怎么樣,等等。這些問題都需要通過元數(shù)據(jù)管理解決,缺乏有效的元數(shù)據(jù)管理,企業(yè)的數(shù)據(jù)資產(chǎn)可能會變成拖累企業(yè)利潤的“包袱”。 —01—什么是元數(shù)據(jù)? 元數(shù)據(jù)(metadata)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息,簡言之,元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。概念總是生澀,對于沒有IT背景的人來說比較抽象,不容易理解,下面舉幾個例子。示例1:歌詞中的元數(shù)據(jù)有一首很多80后耳熟能詳?shù)母枨小缎》肌罚柙~中有這么一句:“村里有個姑娘叫小芳,長得好看又善良。” 我們對這句歌詞做一下分析。姓名:小芳;性別:姑娘(女);長相:好看;性格:善良;住址:村里。歌詞里面,“小芳”是被描述的對象,而“姓名”“性別”“長相”“性格”“住址”就是描述“小芳”的元數(shù)據(jù)。示例2:戶口本中的元數(shù)據(jù)戶口本中除了有姓名、身份證號、出生日期、住址、民族等信息外,還有家庭關(guān)系,如夫妻關(guān)系、父子關(guān)系、兄弟關(guān)系等。這些信息就是描述一個人的元數(shù)據(jù),通過戶口本中的元數(shù)據(jù),我們不僅能夠了解一個人的基本信息,還能夠了解其家庭關(guān)系。示例3:圖書館中的元數(shù)據(jù)圖書館都會用一個叫作“圖書目錄”的文件夾來管理藏書,圖書目錄包含圖書名稱、編號、作者、主題、簡介、擺放位置等信息,用來幫助圖書管理員管理和快速查找圖書。元數(shù)據(jù)就如同圖書館的圖書目錄一樣,能夠幫助數(shù)據(jù)管理員管理數(shù)據(jù)。示例4:元數(shù)據(jù)好比字典字典包含一個字的注音、含義、組詞、舉例等基本信息及其字體結(jié)構(gòu)、相關(guān)引用、出處等。另外,我們可以通過拼音或偏旁部首查到這個字。所有這些信息都是對這個字的詳細(xì)描述,它們就是描述這個字的元數(shù)據(jù)。示例5:元數(shù)據(jù)就像地圖地圖是按一定比例運用線條、符號、顏色、文字注記等描繪顯示地球表面的自然地理、行政區(qū)域、社會經(jīng)濟狀況的圖。通過地圖,你能夠找到自己所處的地理位置,了解你從哪里來,到哪里去,途中要路過哪些地方。元數(shù)據(jù)也具備這樣的特點,它能夠幫助企業(yè)了解自己有哪些數(shù)據(jù),這些數(shù)據(jù)存放在哪里,數(shù)據(jù)的來源、去向及加工路徑等。元數(shù)據(jù)與數(shù)據(jù)的不同之處在于:元數(shù)據(jù)描述的不是特定的實例或記錄,IT部門和業(yè)務(wù)部門都需要高質(zhì)量的元數(shù)據(jù)來理解現(xiàn)有數(shù)據(jù);元數(shù)據(jù)是比一般意義上的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù),不僅表示數(shù)據(jù)的類型、名稱、值等信息,還提供數(shù)據(jù)的上下文描述,比如數(shù)據(jù)的所屬業(yè)務(wù)域、取值范圍、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則、數(shù)據(jù)來源等。可以用5W1H模型來理解元數(shù)據(jù),如表16-1所示:
知識類型 | 定義 | 技術(shù)示例 | 業(yè)務(wù)示例 |
Who | 誰 | 誰負(fù)責(zé)數(shù)據(jù)接口的開發(fā)? | 誰是財務(wù)域、業(yè)務(wù)域的負(fù)責(zé)人? |
What | 干什么或是什么 | CRM和DW之間的數(shù)據(jù)血緣關(guān)系是什么? | 企業(yè)市場管理業(yè)務(wù)域的指標(biāo)體系包含哪些指標(biāo)? |
When | 什么時候 | 提取、轉(zhuǎn)換和加載(ETL)作業(yè)什么時候運行? | 我正在分析的數(shù)據(jù)上次刷新是什么時候? |
Where | 在哪里 | 所有類型的銷售訂單都分布存儲在哪個系統(tǒng)的哪些數(shù)據(jù)表當(dāng)中? | 在哪里可以找到按營銷活動顯示我們的社交媒體分析的報告? |
How | 怎么樣,怎么做 | 如何設(shè)置數(shù)據(jù)質(zhì)量的管理規(guī)則? | 如何獲得產(chǎn)品的競爭優(yōu)勢? |
Why | 為什么 | 出現(xiàn)數(shù)據(jù)質(zhì)量問題的根本原因是什么? | 為什么老客戶會不斷流失? |
-
業(yè)務(wù)定義、業(yè)務(wù)術(shù)語解釋等;
-
業(yè)務(wù)指標(biāo)名稱、計算口徑、衍生指標(biāo)等;
-
業(yè)務(wù)規(guī)則引擎的規(guī)則、數(shù)據(jù)質(zhì)量檢測規(guī)則、數(shù)據(jù)挖掘算法等;
-
數(shù)據(jù)的安全或敏感級別等。
-
物理數(shù)據(jù)庫表名稱、列名稱、字段長度、字段類型、約束信息、數(shù)據(jù)依賴關(guān)系等;
-
數(shù)據(jù)存儲類型、位置、數(shù)據(jù)存儲文件格式或數(shù)據(jù)壓縮類型等;
-
字段級血緣關(guān)系、SQL腳本信息、ETL抽取加載轉(zhuǎn)換信息、接口程序等;
- 調(diào)度依賴關(guān)系、進(jìn)度和數(shù)據(jù)更新頻率等。
- 數(shù)據(jù)所有者、使用者等;
- 數(shù)據(jù)的訪問方式、訪問時間、訪問限制等;
- 數(shù)據(jù)訪問權(quán)限、組和角色等;
- 數(shù)據(jù)處理作業(yè)的結(jié)果、系統(tǒng)執(zhí)行日志等;
- 數(shù)據(jù)備份、歸檔人、歸檔時間等。
- 企業(yè)有哪些數(shù)據(jù)?
- 什么是企業(yè)有效客戶?有效客戶和客戶有何區(qū)別?
- 什么是產(chǎn)品的生命周期?
- 這個數(shù)據(jù)還叫什么名字?
- 數(shù)據(jù)倉庫中的存儲過程是誰寫的?它用來干什么?現(xiàn)在還有在用嗎?
1、元數(shù)據(jù)采集
在數(shù)據(jù)治理項目中,常見的元數(shù)據(jù)有數(shù)據(jù)源的元數(shù)據(jù)、數(shù)據(jù)加工處理過程的元數(shù)據(jù)、數(shù)據(jù)倉庫或數(shù)據(jù)主題庫的元數(shù)據(jù)、數(shù)據(jù)應(yīng)用層的元數(shù)據(jù)、數(shù)據(jù)接口服務(wù)的元數(shù)據(jù)等。元數(shù)據(jù)采集服務(wù)提供各類適配器來滿足以上各類元數(shù)據(jù)的采集需求,并將元數(shù)據(jù)整合處理后統(tǒng)一存儲于中央元數(shù)據(jù)倉庫,實現(xiàn)元數(shù)據(jù)的統(tǒng)一管理。在這個過程中,數(shù)據(jù)采集適配器十分重要,元數(shù)據(jù)采集不僅要能夠適配各種數(shù)據(jù)庫、各類ETL、各類數(shù)據(jù)倉庫和報表產(chǎn)品,還需要適配各類結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)源。(1)關(guān)系型數(shù)據(jù)庫通過元數(shù)據(jù)適配器采集來自O(shè)racle、DB2、SQL Server、MySQL、Teradata、Sybase等關(guān)系型數(shù)據(jù)庫的庫表結(jié)構(gòu)、視圖、存儲過程等元數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫一般都提供了元數(shù)據(jù)的橋接器,例如Oracle的RDBMS,可實現(xiàn)元數(shù)據(jù)信息的快速讀取。(2)2.NoSQL數(shù)據(jù)庫元數(shù)據(jù)采集工具應(yīng)支持來自MongoDB、CouchDB、Redis、Neo4j、HBase等NoSQL數(shù)據(jù)庫中的元數(shù)據(jù),NoSQL數(shù)據(jù)庫適配器多半利用了自身管理和查詢Schema的能力。(3)數(shù)據(jù)倉庫對于主流的數(shù)據(jù)倉庫,可以基于其內(nèi)在的查詢腳本,定制開發(fā)相應(yīng)的適配器對其元數(shù)據(jù)進(jìn)行采集。例如MPP數(shù)據(jù)庫Greenplum,其核心元數(shù)據(jù)都存儲在pg_database、pg_namespace、pg_class、pg_attribute、pg_proc這幾張表中,通過SQL腳本就可以對其元數(shù)據(jù)進(jìn)行采集。Hive表結(jié)構(gòu)信息存儲在外部數(shù)據(jù)庫中,同時Hive提供類似show table、describe table之類的語法對其元數(shù)據(jù)信息進(jìn)行查詢。當(dāng)然,也可以利用專業(yè)的元數(shù)據(jù)采集工具來采集數(shù)據(jù)倉庫系統(tǒng)的元數(shù)據(jù)。(4)云中的元數(shù)據(jù)隨著公有云的日趨成熟,通過提供安全的云連接,將云端企業(yè)元數(shù)據(jù)管理用作核心IT基礎(chǔ)架構(gòu)的擴展,尤其是在中小企業(yè)之間,已經(jīng)成為現(xiàn)實。云端企業(yè)元數(shù)據(jù)管理通過各種上下文改善信息訪問,并將實時元數(shù)據(jù)管理、機器學(xué)習(xí)模型、元數(shù)據(jù)API推進(jìn)流數(shù)據(jù)管道,可以更好地管理企業(yè)數(shù)據(jù)資產(chǎn)。(5)其他元數(shù)據(jù)適配器-
建模工具:PowerDesigner、ERwin、ER/Studio、EA等建模工具適配器。
-
ETL工具:PowerCenter、DataStage、Kettle等ETL工具適配器。
-
BI工具:Cognos、Power BI等前端工具中的二維報表元數(shù)據(jù)采集適配器。
-
Excel適配器:采集Excel格式文件的元數(shù)據(jù)。
2、元數(shù)據(jù)管理
從技術(shù)的角度看,元數(shù)據(jù)管理一般包括元模型管理、元數(shù)據(jù)審核、元數(shù)據(jù)維護(hù)、元數(shù)據(jù)版本管理、元數(shù)據(jù)變更管理等功能。(1)元模型管理元模型管理即基于元數(shù)據(jù)平臺構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉庫,實現(xiàn)元模型統(tǒng)一、集中化管理,提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關(guān)系管理、權(quán)限設(shè)置等功能,支持概念模型、邏輯模型、物理模型的采集和管理,讓用戶直觀地了解已有元模型的分類、統(tǒng)計、使用情況、變更追溯,以及每個元模型的生命周期管理。同時,支持應(yīng)用開發(fā)的模型管理。支持元模型的全生命周期管理。元模型生命周期中有三個狀態(tài),分別是:設(shè)計態(tài)、測試態(tài)和生產(chǎn)態(tài)。-
設(shè)計態(tài)的元數(shù)據(jù)模型,通常由ERWin、PowerDesigner的等設(shè)計工具產(chǎn)生。
-
測試態(tài)的元數(shù)據(jù)模型,通常是關(guān)系型數(shù)據(jù),如Oracle、DB2、MySQL、Teradata等;或非關(guān)系型數(shù)據(jù)庫,如MongoDB、HBase、Hive、Hadoop等。
-
生產(chǎn)態(tài)的元數(shù)據(jù)模型,本質(zhì)上與測試態(tài)元數(shù)據(jù)差異不大。
3、元數(shù)據(jù)應(yīng)用
(1)數(shù)據(jù)資產(chǎn)地圖按數(shù)據(jù)域?qū)ζ髽I(yè)數(shù)據(jù)資源進(jìn)行全面盤點和分類,并根據(jù)元數(shù)據(jù)字典自動生成企業(yè)數(shù)據(jù)資產(chǎn)的全景地圖。該地圖可以告訴你有哪些數(shù)據(jù),在哪里可以找到這些數(shù)據(jù),能用這些數(shù)據(jù)干什么。數(shù)據(jù)資產(chǎn)地圖支持以拓?fù)鋱D的形式可視化展示各類元數(shù)據(jù)和數(shù)據(jù)處理過程,通過不同層次的圖形展現(xiàn)粒度控制,滿足業(yè)務(wù)上不同應(yīng)用場景的圖形查詢和輔助分析需要:
4、元數(shù)據(jù)接口
建立元數(shù)據(jù)查詢、訪問的統(tǒng)一接口規(guī)范,以將企業(yè)核心元數(shù)據(jù)完整、準(zhǔn)確地提取到元數(shù)據(jù)倉庫中進(jìn)行集中管理和統(tǒng)一共享。元數(shù)據(jù)接口規(guī)范主要包括接口的編碼方式、接口響應(yīng)、接口協(xié)議、接口安全、連接方式、技術(shù)實現(xiàn)、調(diào)用方式、報文格式等方面的內(nèi)容。-
接口編碼方式:接口編碼方式必須在接口的頭信息中注明,常用的接口編碼方式有UTF-8、GBK、GB2312、ISO-8859-1。
-
接口響應(yīng)格式:元數(shù)據(jù)接口常用的報文格式,XML或JSON
-
接口協(xié)議:REST/SOAP協(xié)議
-
連接方式:POST
-
接口安全:Token身份認(rèn)證
-
接口地址:http://url/service?[query]
寫在最后的話
數(shù)據(jù)已經(jīng)成為增強企業(yè)競爭力的核心要素,有效地管理和使用數(shù)據(jù)成為企業(yè)的剛需。越來越多的企業(yè)使用元數(shù)據(jù)管理工具來管理云計算、物聯(lián)網(wǎng)、數(shù)據(jù)湖中所產(chǎn)生的數(shù)據(jù),以便更容易地理解、更快地查找和更有效地管理企業(yè)數(shù)據(jù),以實現(xiàn)數(shù)據(jù)的價值。-
數(shù)字化
+關(guān)注
關(guān)注
8文章
9235瀏覽量
63034 -
元數(shù)據(jù)
+關(guān)注
關(guān)注
0文章
32瀏覽量
9242
原文標(biāo)題:一文讀懂元數(shù)據(jù)管理!
文章出處:【微信號:IndustryIOT,微信公眾號:工業(yè)互聯(lián)網(wǎng)前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
污染源自動監(jiān)測數(shù)據(jù)管理系統(tǒng)物聯(lián)網(wǎng)解決方案

SOLIDWORKS 2025教育版有效的數(shù)據(jù)管理與團隊協(xié)作

SOLIDWORKS 2025更有效的協(xié)作和數(shù)據(jù)管理

高效數(shù)據(jù)管理工具:PP-B2811多硬盤母源備份應(yīng)用

SOLIDWORKS 2025協(xié)作與數(shù)據(jù)管理功能簡介
PDM產(chǎn)品數(shù)據(jù)管理系統(tǒng)的必要性分析 PDM如何助力企業(yè)提升競爭力
一文讀懂什么是PDM產(chǎn)品數(shù)據(jù)管理系統(tǒng)軟件?

技術(shù)資訊 I 設(shè)計數(shù)據(jù)管理要點

實驗室數(shù)據(jù)管理與LIMS平臺的關(guān)系
SOLIDWORKS 2025數(shù)據(jù)管理新增功能
SOLIDWORKS 2025:更有效的協(xié)作和數(shù)據(jù)管理
數(shù)據(jù)無界,管理有道:圖為技術(shù)T-Plant OS的數(shù)據(jù)管理之道

工業(yè)設(shè)備數(shù)據(jù)管理的關(guān)鍵要素

鴻蒙開發(fā)接口數(shù)據(jù)管理:【@ohos.data.distributedData (分布式數(shù)據(jù)管理)】

評論