什么是數(shù)據(jù)虛擬化

根據(jù)Gartner的定義，虛擬化是IT資源的抽象，它向資源用戶掩蓋了它們的物理性質和邊界。將定義擴展到數(shù)據(jù)，數(shù)據(jù)虛擬化是數(shù)據(jù)集成的概念，它通過消除數(shù)據(jù)孤島和連接所有數(shù)據(jù)資產(chǎn)來創(chuàng)建虛擬抽象層。它為數(shù)據(jù)生態(tài)系統(tǒng)中的不同應用程序提供了一個通用層。

DAMA（國際數(shù)據(jù)管理協(xié)會）是這樣定義數(shù)據(jù)虛擬化的：

數(shù)據(jù)虛擬化使分布式數(shù)據(jù)庫和多個異構數(shù)據(jù)存儲能夠作為單個數(shù)據(jù)庫進行訪問和查看。因此，數(shù)據(jù)虛擬化服務器不是使用轉換引擎對數(shù)據(jù)進行物理ETL，而是虛擬地執(zhí)行數(shù)據(jù)提取、轉換和集成。

數(shù)據(jù)虛擬化的目標是構建所有數(shù)據(jù)的單一視圖，無論來源或格式如何，而無需物理復制或移動該數(shù)據(jù)。

什么是數(shù)據(jù)湖

數(shù)據(jù)湖是存儲從各種源系統(tǒng)（事務數(shù)據(jù)庫、傳感器設備、SaaS應用程序、文件共享系統(tǒng)等）收集的信息副本的存儲庫，以其本機格式供ML解決方案處理、備份和歸檔、大數(shù)據(jù)分析等。

首先，從各種來源獲取的信息進入著陸區(qū)，在那里它暫時保持原樣。當一家公司建立了持續(xù)攝取、提取、轉換和加載（ETL）和變更數(shù)據(jù)捕獲（CDC）能力時，多類型信息可以在創(chuàng)建后立即進入數(shù)據(jù)湖。一旦數(shù)據(jù)進入湖中，每組數(shù)據(jù)都會被分配一個唯一的指示符或索引，以及一個元數(shù)據(jù)標簽，以加快查詢速度并幫助用戶快速查找請求的數(shù)據(jù)。之后，數(shù)據(jù)可能會經(jīng)過清洗、重復數(shù)據(jù)刪除、重新格式化、豐富等操作，然后移至可信區(qū)域進行永久存儲。當信息準備好供下游用戶使用時，它可能會直接進入報告和儀表板，或者經(jīng)過另一輪ETL并存儲在數(shù)據(jù)倉庫中以供進一步處理。

什么是數(shù)據(jù)編織

數(shù)據(jù)編織是一種設計方法，它意味著將數(shù)據(jù)生態(tài)系統(tǒng)的復雜組件組合到一個統(tǒng)一的平臺中，以提供完整和有凝聚力的數(shù)據(jù)管理。與數(shù)據(jù)湖不同，數(shù)據(jù)編織不需要將數(shù)據(jù)移動到集中位置，而是依賴強大的數(shù)據(jù)治理策略來實現(xiàn)數(shù)據(jù)管理統(tǒng)一。

為了促進跨不同系統(tǒng)訪問信息、管理其生命周期并將其公開給最終用戶，DataFabric架構支持：

數(shù)據(jù)整合

任何信息，無論其類型、數(shù)量和位置如何，都可以被用戶整合和訪問，因為數(shù)據(jù)編織允許利用數(shù)據(jù)虛擬化層來整合數(shù)據(jù)，而無需移動數(shù)據(jù)和創(chuàng)建大量副本。除此之外，為了保證數(shù)據(jù)的完整性，DataFabric可以采用ETL、CDC、流處理等。

智能數(shù)據(jù)目錄

數(shù)據(jù)目錄是企業(yè)擁有的所有數(shù)據(jù)的詳細清單。隨著數(shù)據(jù)編織統(tǒng)一了大量信息，數(shù)據(jù)目錄維護元數(shù)據(jù)以幫助數(shù)據(jù)消費者（包括分析師、數(shù)據(jù)庫工程師、科學家、業(yè)務用戶等）查找和理解數(shù)據(jù)、跟蹤其沿襲、評估和管理數(shù)據(jù)等等.

動態(tài)元數(shù)據(jù)管理

數(shù)據(jù)編織通常采用人工智能功能，幫助自動檢測、分析、收集和激活元數(shù)據(jù)。

數(shù)據(jù)治理

數(shù)據(jù)治理確保數(shù)據(jù)消費者在各自的策略（訪問策略、屏蔽策略、數(shù)據(jù)質量策略等）的幫助下只能訪問他們需要的高質量信息，這些策略由于元數(shù)據(jù)激活功能而自動執(zhí)行。

什么是數(shù)據(jù)網(wǎng)格

數(shù)據(jù)網(wǎng)格是一種分布式數(shù)據(jù)架構，在集中管理和互操作性標準化下，由共享和協(xié)調的自助數(shù)據(jù)基礎設施支持。數(shù)據(jù)網(wǎng)格模式代表分散的和特定領域的數(shù)據(jù)所有權，這些數(shù)據(jù)所有權很容易被發(fā)現(xiàn)并可供組織中的每個人使用。

數(shù)據(jù)網(wǎng)格有幾個區(qū)別于其他模式的關鍵特征：

數(shù)據(jù)所有權：數(shù)據(jù)網(wǎng)格跨不同域存儲數(shù)據(jù)。此數(shù)據(jù)由領域專家維護和管理。

數(shù)據(jù)作為產(chǎn)品：每個數(shù)據(jù)域都被視為一個產(chǎn)品，用戶就是它的客戶。

自助數(shù)據(jù)平臺：數(shù)據(jù)網(wǎng)格提倡建立一個生態(tài)系統(tǒng)，支持創(chuàng)建、使用和維護數(shù)據(jù)產(chǎn)品，而無需專業(yè)知識或復雜工具和技術方面的專業(yè)知識。

聯(lián)合計算治理：分散的數(shù)據(jù)產(chǎn)品可能導致數(shù)據(jù)孤島。聯(lián)合治理方法將與數(shù)據(jù)相關的規(guī)則、定義和過程標準化。

數(shù)據(jù)網(wǎng)格脫離了集中存儲、轉換和處理分析數(shù)據(jù)的概念。相反，它提倡每個業(yè)務領域負責托管、準備數(shù)據(jù)并將其提供給自己的領域和更大的受眾。

比較：數(shù)據(jù)編織與數(shù)據(jù)虛擬化

數(shù)據(jù)編制是一種用于現(xiàn)代數(shù)據(jù)管理的端到端架構。數(shù)據(jù)結構用于簡化數(shù)據(jù)發(fā)現(xiàn)、治理和主動元數(shù)據(jù)管理。當組織需要一個集中式平臺來訪問、管理和治理所有數(shù)據(jù)時，應使用數(shù)據(jù)結構。數(shù)據(jù)虛擬化創(chuàng)建了一個數(shù)據(jù)抽象層來集成所有數(shù)據(jù)，而無需物理移動數(shù)據(jù)。當需要快速集成數(shù)據(jù)時，使用數(shù)據(jù)虛擬化。數(shù)據(jù)虛擬化應被視為數(shù)據(jù)結構架構的核心元素之一。

數(shù)據(jù)虛擬化改變了數(shù)據(jù)到達分析師、數(shù)據(jù)科學家、企業(yè)或應用程序手中的方式。它不是將數(shù)據(jù)物理地移動到云端或本地，而是創(chuàng)建一個抽象層或數(shù)據(jù)虛擬化層。因此，它連接到不同的數(shù)據(jù)源、攝取數(shù)據(jù)、執(zhí)行 ETL 過程并創(chuàng)建虛擬數(shù)據(jù)層，從而允許用戶實時利用來自多個來源的數(shù)據(jù)。

Data Virtualization 是支持 Data Fabric 的技術之一。Data Fabric 是一個端到端數(shù)據(jù)管理架構，其目標或用例不僅僅是在云端或業(yè)務分析師手中獲取數(shù)據(jù)，而是處理更廣泛的情況，如客戶智能或客戶 360 度視圖或物聯(lián)網(wǎng)分析。Data Fabric 適用于更大范圍的技術堆棧。

比較：數(shù)據(jù)編織與數(shù)據(jù)湖

數(shù)據(jù)湖是數(shù)據(jù)和數(shù)據(jù)資產(chǎn)的存儲庫，而數(shù)據(jù)編織是提取和利用此類信息的方法。許多專家認為這兩個短語是同義詞，使用數(shù)據(jù)編織從存儲的數(shù)據(jù)中提取最大價值是最好的方法。但是，它們之間存在顯著差異。

數(shù)據(jù)湖是未排序或索引的原始形式的數(shù)據(jù)存儲庫。數(shù)據(jù)可能是從簡單文件到大型二進制對象的任何內容，例如視頻、音頻、圖像或多媒體文件。提取數(shù)據(jù)后，會對其進行評估和操作以使其可用。

術語“數(shù)據(jù)編織”是指一個組織的數(shù)據(jù)在所有存儲和使用場景中使用的系統(tǒng)，它使用同一組協(xié)議、流程、組織和安全性。

比較：數(shù)據(jù)編織與數(shù)據(jù)網(wǎng)格

盡管數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格這兩個術語有時可以互換使用，但它們代表了截然不同的概念。一般來說，數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格的相似之處在于它們都是識別企業(yè)如何管理大量存儲信息的技術。數(shù)據(jù)編織方法旨在通過在數(shù)據(jù)保存的地方構建一個管理層來規(guī)范數(shù)據(jù)。后者與前者的不同之處在于，某些類型的數(shù)據(jù)管理的各個方面由組織內利用該信息的團隊或小組處理。

另一方面，數(shù)據(jù)編織是一種以技術為中心的架構方法，可解決數(shù)據(jù)和元數(shù)據(jù)的難題。相比之下，數(shù)據(jù)網(wǎng)格更側重于組織變革，強調人員和程序而不是架構。

版權說明：
本文僅代表作者個人觀點，版權歸原創(chuàng)者所有。部分圖片源自網(wǎng)絡，未能核實歸屬。本文僅為分享，不為商業(yè)用途。若錯標或侵權，請與我們聯(lián)系刪除。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com