【數(shù)據(jù)治理 | 什么是數(shù)據(jù)治理_數(shù)據(jù)治理包括哪些內(nèi)容】

　　數(shù)據(jù)治理就是指在一定的組織范圍內(nèi)，依托制度法規(guī)、標準規(guī)范、應(yīng)用實踐和支撐技術(shù)對數(shù)據(jù)進行全生命周期的數(shù)據(jù)確權(quán)、質(zhì)量管理、安全控制、隱私保護、開放共享、交易流通和分析處理。數(shù)據(jù)治理的目標是為了提高數(shù)據(jù)的可用性、安全性、流通性，激活數(shù)據(jù)資源的價值，發(fā)揮數(shù)據(jù)資源的經(jīng)濟和社會效益。

　　“數(shù)據(jù)治理”核心專業(yè)術(shù)語名詞解釋

　　數(shù)據(jù)元

　　定義：是用一組屬性描述其定義、標識、表示和允許值的數(shù)據(jù)單元，數(shù)據(jù)元是組成實體數(shù)據(jù)的最小單元，也稱原子數(shù)據(jù)，數(shù)據(jù)元由對象、特性和表示三部分組成。

　　作用：作為最小顆粒度的數(shù)據(jù)，數(shù)據(jù)元是對數(shù)據(jù)進行標準化定義的基礎(chǔ)，也是構(gòu)建統(tǒng)一、集成、穩(wěn)定的行業(yè)數(shù)據(jù)模型的基礎(chǔ)。在企業(yè)數(shù)據(jù)治理中，數(shù)據(jù)元是需要標準化的對象，一個數(shù)據(jù)元對象有且只有一個數(shù)據(jù)特性，每個數(shù)據(jù)特性對應(yīng)一個數(shù)據(jù)表示。

　　元數(shù)據(jù)

　　定義：元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)或關(guān)于數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)，是描述數(shù)據(jù)屬性的信息，用來支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能，元數(shù)據(jù)主要有三類：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)。

　　作用：在數(shù)據(jù)治理中，元數(shù)據(jù)是對數(shù)據(jù)的描述，存儲著數(shù)據(jù)的描述信息，能夠讓數(shù)據(jù)更容易理解、查找、管理和使用。

　　主數(shù)據(jù)

　　定義：主數(shù)據(jù)也稱基準數(shù)據(jù)，是指系統(tǒng)間的核心共享數(shù)據(jù)，反映核心業(yè)務(wù)的高價值信息數(shù)據(jù)。主數(shù)據(jù)的特點是變化緩慢，在企業(yè)內(nèi)部保持一致。主數(shù)據(jù)必須存在并加以正確維護，才能保證企業(yè)內(nèi)部系統(tǒng)數(shù)據(jù)的參照完整性。主數(shù)據(jù)具有3大特性、4個超越：高價值性、高共享性、相對穩(wěn)定性;超越業(yè)務(wù)，超越部門，超越系統(tǒng)，超越技術(shù)。

　　作用：在數(shù)據(jù)治理中，主數(shù)據(jù)用來解決企業(yè)異構(gòu)系統(tǒng)之間核心數(shù)據(jù)不一致、不正確、不完整等問題。主數(shù)據(jù)是信息系統(tǒng)建設(shè)和大數(shù)據(jù)分析的基礎(chǔ)，被認為是企業(yè)數(shù)字化轉(zhuǎn)型的基石。

　　業(yè)務(wù)數(shù)據(jù)

　　定義：業(yè)務(wù)數(shù)據(jù)是業(yè)務(wù)活動過程或系統(tǒng)自動產(chǎn)生的既定事實的數(shù)據(jù)，也稱交易數(shù)據(jù)，例如，業(yè)務(wù)交易過程中產(chǎn)生的數(shù)據(jù)，系統(tǒng)產(chǎn)生的數(shù)據(jù)。

　　作用：業(yè)務(wù)數(shù)據(jù)主要面向應(yīng)用，為業(yè)務(wù)應(yīng)用提供服務(wù)，例如生產(chǎn)、銷售、采購、設(shè)備管理、系統(tǒng)管理等。

　　主題數(shù)據(jù)

　　定義：主題數(shù)據(jù)是根據(jù)數(shù)據(jù)分析的需要，按照業(yè)務(wù)主題對數(shù)據(jù)所做的一種組織和管理方式，其本質(zhì)是為了進行面向主題的分析或加速主題應(yīng)用的數(shù)據(jù)。主題數(shù)據(jù)是分析型數(shù)據(jù)，是按照一定的業(yè)務(wù)主題域組織的，服務(wù)于人們在決策時所關(guān)心的重點方面。一個主題數(shù)據(jù)可以由多個主數(shù)據(jù)和交易數(shù)據(jù)組成。主題數(shù)據(jù)一般是匯總的、不可更新的、用于讀的數(shù)據(jù)。

　　作用：主題數(shù)據(jù)是按照一定的業(yè)務(wù)主題域組織的，服務(wù)于各種數(shù)據(jù)分析或應(yīng)用開發(fā)。

　　數(shù)據(jù)倉庫

　　定義：數(shù)據(jù)倉庫(Data

　　Warehouse，DW)是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫是數(shù)據(jù)分析和數(shù)據(jù)可視化的基礎(chǔ)，通過將來自不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)匯集到一起，并按照一定的主題進行編號、歸類、分組，方便用戶快速定位數(shù)據(jù)源，為數(shù)據(jù)分析提供支撐。

　　作用：數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程提供所有類型數(shù)據(jù)支撐的戰(zhàn)略集合，有以下三個主要特征和作用：數(shù)據(jù)倉庫是對企業(yè)數(shù)據(jù)的匯聚和集成、數(shù)據(jù)倉庫支持多維分析、數(shù)據(jù)倉庫是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵和基礎(chǔ)。

　　數(shù)據(jù)湖

　　定義：數(shù)據(jù)湖是一個以原始格式存儲數(shù)據(jù)的存儲庫或系統(tǒng)。它按原樣存儲數(shù)據(jù)，而無須事先對數(shù)據(jù)進行結(jié)構(gòu)化處理。數(shù)據(jù)湖可以存儲結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫中的表)、半結(jié)構(gòu)化數(shù)據(jù)(如CSV、日志、XML、JSON)、非結(jié)構(gòu)化數(shù)據(jù)(如電子郵件、文檔、PDF)和二進制數(shù)據(jù)(如圖形、音頻、視頻)。

　　作用：數(shù)據(jù)湖可以更方便、以更低的成本解決不同數(shù)據(jù)結(jié)構(gòu)的統(tǒng)一存儲問題，同時還能夠為機器學(xué)習(xí)提供全局數(shù)據(jù)。我們可以將數(shù)據(jù)湖理解為一個融合了大數(shù)據(jù)集成、存儲、處理、機器學(xué)習(xí)、數(shù)據(jù)挖掘的解決方案。

　　更多“數(shù)據(jù)治理”專業(yè)術(shù)語名詞解釋

　　數(shù)據(jù)中臺：數(shù)據(jù)中臺是企業(yè)級數(shù)據(jù)能力共享平臺，提供企業(yè)級數(shù)據(jù)服務(wù)，實現(xiàn)數(shù)據(jù)共享。數(shù)據(jù)通過分層與水平解耦，經(jīng)過匯聚、存儲、整合、分析、加工，沉淀公共的數(shù)據(jù)能力，再經(jīng)過服務(wù)封裝，形成通用的調(diào)用接口，為前端應(yīng)用提供數(shù)據(jù)服務(wù)調(diào)用，支撐前端應(yīng)用敏捷迭代和快速構(gòu)建。數(shù)據(jù)直接用于業(yè)務(wù)鏈路和交易場景，

　　服務(wù)更多業(yè)務(wù)。數(shù)據(jù)中臺不是一個標準化的產(chǎn) 品，是一整套策略和解決方案的集合。

　　數(shù)據(jù)底座：數(shù)據(jù)底座是企業(yè)統(tǒng)一的數(shù)據(jù)平臺，是數(shù)據(jù)的邏輯集合，由數(shù)據(jù)湖和數(shù)據(jù)主題聯(lián)接兩層構(gòu)成，集成公司內(nèi)部各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)及外部數(shù)據(jù)，為業(yè)務(wù)可視、分析、決策等數(shù)據(jù)消費提供數(shù)據(jù)服務(wù)。數(shù)據(jù)底座由數(shù)據(jù)湖和數(shù)據(jù)主題聯(lián)接構(gòu)成。

　　湖倉一體：是新出現(xiàn)的一種數(shù)據(jù)架構(gòu)，它同時吸收了數(shù)據(jù)倉庫和數(shù)據(jù)湖的優(yōu)勢，數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家可以在同一個數(shù)據(jù)存儲中對數(shù)據(jù)進行操作，同時它也能為公司進行數(shù)據(jù)治理帶來更多的便利性。就是把面向企業(yè)的數(shù)據(jù)倉庫技術(shù)與數(shù)據(jù)湖存儲技術(shù)相結(jié)合，為企業(yè)提供一個統(tǒng)一的、可共享的數(shù)據(jù)底座。

　　數(shù)據(jù)標準：數(shù)據(jù)標準是指企業(yè)為保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準確性而制定的規(guī)范性約束。

　　數(shù)據(jù)模型：數(shù)據(jù)模型(Data Model)是對現(xiàn)實世界數(shù)據(jù)特征的抽象，用于描述一組數(shù)據(jù)的概念和定義。它從抽象層次上描述了系統(tǒng)的靜態(tài)特征、動態(tài)行為和約束條件。數(shù)據(jù)模型是數(shù)據(jù)庫系統(tǒng)的核心與基礎(chǔ)，是描述數(shù)據(jù)與數(shù)據(jù)之間聯(lián)系、數(shù)據(jù)的語義、數(shù)據(jù)一致性約束的概念性工具的集合。

　　數(shù)據(jù)標簽：是對數(shù)據(jù)實體特征的符號表示，用來描述業(yè)務(wù)實體特征的數(shù)據(jù)形式，通過標簽對業(yè)務(wù)實體進行刻畫，從多角度反映業(yè)務(wù)實體的特征。

　　數(shù)據(jù)血緣：追蹤數(shù)據(jù)隨時間流動的過程，可以清晰地了解數(shù)據(jù)起源、變化方式以及在數(shù)據(jù)管道內(nèi)最終目的地。

　　數(shù)據(jù)脫敏：對敏感信息進行處理，使其在保留一定特征的同時，無法識別具體個體，用于非生產(chǎn)環(huán)境測試或數(shù)據(jù)分析。

　　數(shù)據(jù)分析：是指利用技術(shù)手段，對數(shù)據(jù)進行分析，發(fā)揮數(shù)據(jù)作用、釋放數(shù)據(jù)價值的過程。

　　數(shù)據(jù)挖掘：是數(shù)據(jù)分析的一種手段，是從大量數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。