DataFlow ETL
    发布时间: 2020-08-08 17:40    

DataFlow是公司完全独立自主研发一款实用、易用的数据集成平台,基于微服务架构开发,能部署在各种不同架构的服务器上,同时支持国产信创平台。

DataFlow ETL

1.1. 产品介绍

DataFlow产品是华毅软件自主研发,投入了大量人力和时间去打造的世界级的数据集成工具,产品结合了行业精英多年的数据集成经验和行业客户对产品的实际需求,是一款实用、易用的数据集成平台,它实现了国产软件在数据集成领域的突破,同时产品提供完备的数据监控功能,具备完全开放性,能有效把系统资源与外部系统进行整合,帮助企业构建一个实时、全面、灵活的统一数据平台。


1.2. 产品定位

随着云计算、云存储、物联网等新技术的深入应用,企业产生了大量的数据,对这些海量数据的整合、分析和应用提出新的挑战,而对海量数据的质量检查与清洗也将成为行业未来的主流发展方向。

DataFlow产品主要定位于数据集成领域,帮助企业将分散在不同数据源中的数据整合到一个数据仓库中。在整合过程中,完成对数据的清洗、转换、质量检查、脱敏,满足企业对数据集成、数据质量、数据安全等数据管理的需求。

华毅软件研发这款实用、易用、高性能的数据集成产品是符合企业的整体发展战略,它将帮助企业夯实数据底座,进一步推进企业的数字化转型。


1.3. 产品对主流平台的支持

DataFlow产品不仅仅是大型企业和数据专家可以使用,小型企业和普通用户也可以通过简单的操作使用产品进行数据处理和分析。企业可根据业务的复杂层度,灵活选择部署方式,如单机部署、集群部署、分布式部署。

产品基于纯JAVA技术开发,可部署在各种不同架构服务器上,不依赖于任何专有硬件。无论是IBM、DELL、HP还是华为、联想、浪潮;无论是大型机、小型机、PC机,都可以畅快的运行,同时产品支持目前市面上主流操作系统,如Windows Server、Linux、Unix等,同时也支持国产信创平台。


1.4. 应用场景

DataFlow在数字化领域中的应用场景非常广泛,包括数据仓库、商业智能、数据挖掘、大数据分析等领域。例如,在电商领域,DataFlow可以将不同来源的订单数据整合到一个数据仓库中,方便统计销售额、订单量等数据,为企业提供决策支持。在金融领域,DataFlow可以将不同银行的客户数据、高质量的整合到一个数据仓库中,进行风险评估和信用评级,为金融机构提供决策支持。


1.5. 产品特征

1. 数据集成能力强

DataFlow产品可以连接各种数据源,包括关系型数据库、非关系型数据库、结构性文档、非结构性文档、应用服务、API接口等,如Oracle,MongoDB、TDSQL、OceanBase、Excel、SAP ECC、WebService。

2. 数据转换能力强

DataFlow产品提供丰富的组件,同时也支持自定义组件开发,可以对数据进行连接、清洗、转换、聚合、计算、加密等操作,以便将数据转换为目标数据模型。

3. 自动化高

DataFlow产品提供丰富界面功能,通过简单的配置就能自动化地完成数据集成、转换和加载等过程,减少人工干预,提高效率和准确性。

4. 可扩展性强

DataFlow产品采用微服务架构开发,可以通过水平动态扩展来增加处理能力,快速提升并发任务数的并发能力,以应对不断增长的数据量和复杂性,可在Docker、Kubernetes容器中部署。

5. 易维护与管理 

DataFlow产品提供实时监控能力,通过数据可视化窗口实时捕获服务器资源、工作流、日志等信息,并基于底层模型对资源使用情况、任务数据情况、日志数据进行监控、分析,预测。

6. 实时数据处理 

DataFlow产品可根据企业的业务服务需求和模型,构建离线数据、实时数据管道,完成数据采集、模型建立、数据质量监测等,实现企业大数据平台的数据汇聚存储,为企业生产管理、用户服务、市场决策等提供数据支持,实现数据驱动业务。

7. 数据质量提升

DataFlow产品可以检测和修复数据质量问题,包括缺失值、重复值、异常值等,以确保数据的准确性和完整性。

8. 血缘关系追溯

DataFlow产品基于元数据模型,自动化分析数据源、数据库表、数据库字段之间的关联关系,形成血缘的直观图,能非常清晰浏览其血缘关系,帮助企业寻根溯源。