Modern Data Stack (MDS)
現代數據棧
數據堆疊，搭建成功藍圖
如何設計「長期」支撐公司發展的現代數據架構呢？
不是單一事件結果
而是經過無數公司創新、一代又一代的實驗知識交流、碰撞
最終產生了現代數據棧 (Modern Data Stack, MDS) 。
什麼是現代數據棧 (MDS)？
現代數據棧 (Modern Data Stack, MDS) 是一個不同於過往專案客製或平台產品的數據架構。它是一個處理數據流的技術和工具的集合，以靈活性、可擴展性和高效處理大量異質數據而聞名。
透過數據工具的堆疊，MDS 協助企業以最有效率的方式收集、整合、管理和分析海量數據，從而優化營運和促進商業決策。
現代數據棧（MDS）架構圖
現代數據棧的四項特色
Functionality You Will Love
01
模組化 (Modularity)
現代數據棧中擁有許多成熟技術和工具，且大多以SaaS 形式提供服務。企業可根據需求，自行選擇工具，快速完成數據建構。
03
以 SQL 為核心
以 SQL 為程式核心的好處是，由於 SQL 仍是主導數據開發的程式語言，因此，可以有效打破團隊中的技術隔閡。
02
ELT 取代 ETL
近年來，國際主流的數據設計典範也漸漸從 ETL 轉為 ELT，透過EL和T的解耦合，讓數據架構更有彈性。
04
成熟的生態系
現代數據棧的生態系相當完整，有許多活躍的技術討論社群，讓資訊者擁有充足資訊，選用成熟、合適的產品技術。
dbt 是什麼?
dbt 全名為 Data Build Tool，是一款以 SQL 為基礎的資料轉換工具，適用 ELT流程中的 Transform 部分。
dbt 位於 MDS 資料轉換層中，核心重要的角色，它允許資料分析師和資料工程師使用 SQL 來編寫、測試和部署資料轉換任務，進而建立資料表或視圖，提高資料處理的效率。
dbt 幫你解決什麼問題？
-
自動生成「資料血緣圖」(data lineage graph)。
-
用 Jinja 語言，取代 Shell script，語法具一致性、規範性。
-
大幅減少的「樣板程式碼」(Boilerplate code)。
-
可以接軌世界上許多人開發出來的「公用程式」。
-
解耦「資料轉換」與「資料品質驗証」。
dbt 自動產生資料血緣圖 ( Data Lineage Graph)
現代數據棧值得採用的四大理由
相較於傳統數據處理方式，選擇現代數據堆疊（MDS），您將獲得前所未有的數據處理和分析能力，提升工作效率，加速決策流程。
-
清楚的資料建模層 (data modeling layer)：讓指標一致。
-
技術棧以 SQL 為主：打破團隊技術隔閡，讓技術棧相對簡單。
-
ELT 取代 ETL：由 Analytic Engineer 負責資料轉換，減少溝通會議。
-
應用函數式資料轉換：讓資料轉換的程式碼容易維護與除錯。
MDS 應用場景
BI / AI 數據分析
現今 BI / AI 報表需從大量數據擷取，因應不斷增加的數據源，如何減少人工干預，降低錯誤，並提升效率相當重要。透過 MDS 能無縫整合各種現代工具，讓使用者輕鬆洞察數據。
數據中台
MDS 提供標準的數據 Interface 和強大的數據處理能力，讓企業在多種應用和部門間共享數據，豐富數據資產，提升整體運營效率和數據分析的準確性。
Data Pipeline 優化
MDS 實現高效數據轉換，確保數據自動化和精確傳輸，減少延遲和錯誤，透過 dbt 提升數據的一致性和可靠性。最終優化數據運用效率並提高效能。
MDS 導入實績
QUBIX 已協助台灣 6 間以上企業諮詢與成功導入現代數據棧，包含：
國際製藥大型企業
跨國文教連鎖知名企業
知名全球加密貨幣交易所
全台第一間採用 MDS 金融大型銀行