數據中臺的價值

　　幾十年的信息化發展歷程，就是“業務數據化”的過程——無論是一家公司或者是一個機構當它持續不斷在IT方面進行投入和建設，不斷將自身發展過程中業務模式和經營管理端的各種能力以數據指標的形態沉淀累計下來。 

　　利用沉淀積累的數據進行業務上的優化升級，則是將已經成為企業數字資產的“業務大數據”作為生產資料融入業務價值的創造過程，使之持續產生更長遠的價值。 

　　數據中臺就是實現”數據業務化“的基礎！

1、IT建設的問題與發展

系統越多，數據孤島現象越嚴重 

隨著信息化的不斷加深，在傳統的“煙囪式”IT產品工具系統的搭建模式下，企業獨立采購或者定制開發的各種信息軟件，會在企業日常運維的內部形成眾多數據孤島；而在互聯網、移動互聯網背景下，小程序、O2O平臺等新模式下產生的外部新鮮數據與傳統系統的內部數據有效直接互通，這進一步加劇了數據孤島問題……系統多樣性和多態性，增加了企業IT架構的復雜度。

云時代下多云策略使得IT架構更加復雜 

IT硬件基礎設施從PC時代的計算服務器演變成DT時代的萬物“云”，絕大多數企業現今及未來都將選取多云策略，以避免被單一云廠商鎖定，且多云可以讓企業系統內的IT架構更靈活、更符合自身情況。但這也讓企業IT架構變得更為復雜，不同云服務商之間的底層數據的互聯互通成為困擾企業發展的痛點之一。每一次系統之間的同步，帶寬的消耗都是云服務商掙取利潤的主要來源。

IT 發展迫切進入新階段 

企業信息化發展目前正處于從數據集成向數據管理階段轉變的關鍵時期，數據管理從分散向集中發展，從不規范向規范化發展；信息系統建設從單項建設向集成化發展

2、數據中臺的價值

1）數據價值 

數據是企業已有業務和管理思想的結晶，數據中臺幫助企業對數據進行整合，進一步挖掘數據價值，從而達成賦能業務的目的。通過構建數據中臺實現3大核心價值：整合、共享、賦能。

整合·數據資產

工作剛需：消除數據孤島，匯聚企業內外部數據，形成數據資產 

對接業務核心數據，打通ERP、MES、PLM、CRM、HR等信息系統，建立統一的數據標準，梳理基礎數據與交易數據，消除數據孤島，匯聚企業內夯實數據資產基礎

數據資源盤點、聯接、規范管理，形成企業的“數據資產”管理體系。幫助解決傳統信息系統建設過程中，因”煙囪式“架構導致的數據隔離、數據不一致等問題，避免“數據孤島”的出現。

共享·數據資源

歸納總結：主動針對數據進行思考分析，追根溯源，查找原因，為決策提供支持 

圍繞著能給業務帶來價值的數據資產進行建設，形成統一的數據資產體系，使企業數據中臺體系初具雛形，以能滿足企業業務對數據的需求。

避免重復開發，確保前端業務“輕量化”。數據中臺要求“整合、共享“，因此業務前端需要的數據應用能力必須經過數據中臺進行實現，這樣既確保了前端業務的輕量化，又鞏固了數據中臺作為關鍵地位，實現數據資源的共享與開發效率的提升。

賦能·業務創新 

賦能創新：借助大數據AI技術，以演繹方式通過數據實現業務智能化 

提供便捷、快速的數據服務能力，選擇具體業務場景，結合AI算法，讓相關人員能夠迅速開發數據應用，實現“場景+算法+數據”的智慧創新場景的應用，充分發揮數據價值。

通過數據的統一數據服務，將企業基礎數據能力整合在數據中臺中，并開放給前端業務進行調用，實現了自主驅動、賦能業務的最終目的。

2）實現企業數字化愿景 

• 實現基于數據的管理：基于中臺構建面向業務應用的全量數據分析

• 從“業務驅動數據”走向“數據驅動業務”企業

• 實現智能企業，建立大數據BI平臺，打造智能企業的大腦，幫助企業實現從透明化到智能化的閉環管理

數據中臺建設

1、數據集成方案

1）手工數據填報 

對于企業手工線下EXCEL的數據，可通過在線填報方式進行統一采集與管理。

• 模版定義：定義補錄模板，包括目標數據庫，補錄列字段名稱、類型、長度、校驗方式、默認值等信息，更新方式、是否審批等策略

• 數據補錄：根據補錄模版動態生成不同補錄頁面，支持excel批量錄入、校驗、提交

• 補錄查看：查看、下載已補錄數據，并支持對已導入數據編輯、修改操作

2）離線/批處理 

可通過圖形化配置化頁面實現數據的同步：

• 定義同步任務，可視化配置源端和目標端；

• 提供任意異構數據源間的同步，以及Excel、API等；

• 支持多種同步方式（Datax、Kettle）；

• 提供批量同步的方式，一次創建多張表的同步任務；

• 可配置多種同步策略，包括增量、讀取配置、寫入配置、容錯率等；

• 可通過查看引用快速定位數據集成的調度作業，及查看作業運行日志

3）實時同步 

通過kafak+flink實現數據的實時更新，滿足基于流式計算統一解決數據集成的各種場景，正常情況：

• Kafka會保留一段時間的隊列

• 入倉數據都有時間戳

• Flink 處理過程會記錄到控制表

3、數據應用 

1）數據可視化應用

2）數據API服務 

除了提供報表可視化服務以外，還可通過API方式為各應用場景提供數據服務，形成數據閉環管控

• 面向各類數據應用場景，統一數據倉庫對外數據服務標準

• 整合應用需求，持續完善數據倉庫服務能力，底層能力迭代不影響前端業務

• 統一的服務管理提升了數據安全防護，數據審計，數據調用統計的效率