元数据驱动的ETL(数据集成)“活化”数字化转型

（原标题：元数据驱动的ETL(数据集成)“活化”数字化转型）

　　 在过去的十几年中，我们经常用雪崩、海啸等形容数据快速增长的趋势，虽然这些说法现在不再流行，但数据增长的趋势并没有发生变化。随着数字化转型工作的推动、深入，数据的增长正在以更快的速度进行。

　　 过去的30年里，在数据集成领域，不少企业、组织进行了大量有益的探索，如！从早期的Informatica、IBM提供的企业级的数据集成(ETL)能力；到流、批一体的Spark、Flink等，再到最近的数据中台的探索，都为DT世界提供了一定的动力，但他们仍然没有改变数据集成(ETL)工作的工作量占整个数据管理工作量70%的现实，甚至其中的有些新的探索，将数据集成工作技术化，使业务驱动的数据管理渐行渐远、使业务人员更加远离数据价值探索的过程。

　　 光华冠群作为深耕20年IT领域的数据管理领先企业，我们一直探索数据资产的价值发掘、简化数据资产探索、实现过程，尤其是在数据集成(ETL)领域经过长期的研究、分析及研发，推出元数据驱动的ETL产品、解决方案以适应数字化转型深入、数据民主化的趋势。

　　 光华冠群认为探索解决数据解决方案的复杂性、IT化的困境，不能在历史的同一层面上简单、重复工作，仅仅将国外的产品国产化，或者是仅在技术复杂性上使用Spark或者Flink等新的名词，使数据管理陷入技术化的困局。

　　 解决这些问题，光华冠群认为需要跳出原有的技术困局，进一步的对技术进行抽象，使其更加接近业务人员、业务部门的使用习惯，构建以元数据(Metadata)驱动的数据集成(ETL)产品，才能根本解决数据管理IT化、数据管理复杂化的问题，从而“活化”数字化转型

　　 元数据(Metadata)指关于数据的数据(Data about Data)，即为数据提供可理解的上下文。

　　 数据集成(ETL)是指数据的抽取(Extract)、转换、清洗(Transformation)和加载(Load)过程，注释！任意的IT工作均可抽象为输入、处理、抽象的过程，即DT领域的ETL过程。

IT抽象图

DT抽象图

　　 我们认为解决上述两张图可理解性的问题，就是元数据问题，即为他们提供可理解的上下文问题。

　　 通过元数据(Metadata)抽象的ETL产品，通过内置技术、业务、运营和使用情况方面的元数据，我们可以创建关于企业数据资产以及这些数据资产之间相互关系的知识图谱。即使应用人工智能和机器学习技术，也可以将其与数据管理解决方案集成在一起，元数据图谱就被激活了。活化的元数据使用户可以面向分析、数据科学、治理以及其它几乎任何用途，方便、有效、自动地搭建、部署和运行数据管理应用。

　　 元数据驱动的ETL为企业提供多种的转型便利！

　　 标识、识别适用于特定业务用途的恰当数据

　　 基于学习到的模式以及根据外部变化所做的调整，自动实现系统集成

　　 为数据提供业务上下文语境，增强对分析方法的信心

　　 为业务用户开发数据入口，使数据更加接近用户

　　 减少数据集成(ETL)的开发和维护工作量，实现自动化集成

　　 数据被视为企业流动的新型资产，推动数字化转型，光华冠群通过不断的探索元数据的价值，尤其实在数据价值挖掘活动最密集的数据集成(ETL)领域，通过构建智能的元数据驱动的ETL产品和解决方案，从而加速推动企业数字化转型，构建企业竞争力。