几十万台设备的工况数据，日新增数据高达几亿条，后期随着设备的增加数据量也会继续增加。如此庞大的数据不仅来源多、种类复杂，而且格式不一致，处理困难，如何保证这么多数据高效、防漏的的传递到数据库进行统一管理。

DataFlow产品是华毅软件自主研发，结合了行业精英多年的数据集成经验和行业客户对产品的实际需求，满足T+1模式和实时方式的提取，加工数据，它同时具备元数据管理、数据质量管理、数据安全管理等数据治理能力，有着完备的数据监控功能，帮助企业构建一个实时、全面、灵活的统一数据平台。

一、企业介绍

徐工集团有限公司是中国一家知名的工程机械制造企业，总部位于江苏省徐州市。公司成立于1989年，经过多年的发展，已成为全球知名的工程机械制造商。徐工集团的主要产品包括挖掘机、装载机、起重机、路面机械、混凝土机械等多个系列，产品广泛应用于建筑、矿山、公路、桥梁、水利等领域。公司拥有多个国家级技术中心和实验室，致力于技术创新和产品升级，已获得多项国家专利和荣誉，目前产品出口到全球100多个国家和地区。

二、解决方案

DataFlow数据集成平台整体规划

• 数据流整体架构设计

• 数据标准定义和数据建模

• 况数据实时采集入库方案设计

工况设备实时生成的数据，通过专有协议推送到多个数据文件中心，再借助DataFlow文件监视程序实时捕获变化数据，抓取的数据在内存中进行质量检查、格式转换等一系列处理，再将加工处理后的数据推送到Kafka，入库。

其中实现对不同来源、不同种类的数据进行标记，在工况设备数据写入到数据文件时带上标记信息。文件监视程序在接收到数据时，能快速识别，完成数据实时采集。 

三、项目成果

借助DataFlow产品优势，在建设数据库优化升级同时，引入数据实时入仓的能力。徐工集团基于DataFlow数据库为下游各类管理分析类系统提供实时数据分析能力，为企业管理决策和日常运营提供了数据支撑。

• 保证日以亿计数据实时入库

• 数据标准定义与管理，为后期数据分析奠定基础

• 数据实时采集，为各需求口提供实时数据分析决策能力