三一重工几十万台设备的工况数据,每日新增数据量近5亿条。随着数据量的增加,系统数据架构逐渐暴露出问题 (过多的数据源,维护复杂,人员要求高,跨DB/Table查询低效,难以应付层出不穷的报表和分析需求),为了解决上述问题,首先选择一个合适的数据库来对数据进行统一管理。
一、企业介绍
三一重工(SANY Group)是中国一家跨国工程机械制造公司,公司成立于1989年,是全球前五大工程机械制造商之一。三一重工从事各种施工设备和机械的制造、销售和服务,生产线涵盖混凝土设备、起重机械、装载机、路面设备、挖掘机等多个领域。其产品出口至全球150多个国家和地区,是混凝土泵制造商头部企业。在中国,三一重工有着领先的市场占有率,其混凝土泵车、混凝土搅拌站、起重机械等产品均获得了国家认可和广泛的市场认可。
二、解决方案
针对不同的数据源进行数据收集、转换和加载处理,搭建数据仓库,支持联机事物处理和连接分析处理及混合事物处理,故而使用Greenplum作为数据库进行数据仓库的搭建。
利用MySQL承担OLTP角色,进行小数据量业务处理和高频次更新等业务操作和事务处理;而利用GPDB承担OLAP角色,进行大数据量统计分析和高速并行计算,方便进行相应业务报表的生成和机器学习。
三、项目成果