全球机械制造巨头-IOT设备数据的采集与分析
    发布时间: 2017-09-18 19:40    

三一重工几十万台设备的工况数据,每日新增数据量近5亿条,分别存储在不同的数据源,不同的数据表里,每天面临大量的跨表、跨库的报表查询和分析需求,MPP数据库Greenplum应运而生。

全球机械制造巨头-IOT设备数据的采集与分析

三一重工几十万台设备的工况数据,每日新增数据量近5亿条。随着数据量的增加,系统数据架构逐渐暴露出问题 (过多的数据源,维护复杂,人员要求高,跨DB/Table查询低效,难以应付层出不穷的报表和分析需求),为了解决上述问题,首先选择一个合适的数据库来对数据进行统一管理。


一、企业介绍

三一重工(SANY Group)是中国一家跨国工程机械制造公司,公司成立于1989年,是全球前五大工程机械制造商之一。三一重工从事各种施工设备和机械的制造、销售和服务,生产线涵盖混凝土设备、起重机械、装载机、路面设备、挖掘机等多个领域。其产品出口至全球150多个国家和地区,是混凝土泵制造商头部企业。在中国,三一重工有着领先的市场占有率,其混凝土泵车、混凝土搅拌站、起重机械等产品均获得了国家认可和广泛的市场认可。


二、解决方案

针对不同的数据源进行数据收集、转换和加载处理,搭建数据仓库,支持联机事物处理和连接分析处理及混合事物处理,故而使用Greenplum作为数据库进行数据仓库的搭建。

 

 

 

利用MySQL承担OLTP角色,进行小数据量业务处理和高频次更新等业务操作和事务处理;而利用GPDB承担OLAP角色,进行大数据量统计分析和高速并行计算,方便进行相应业务报表的生成和机器学习。


三、项目成果

  • 全新架构支持动态扩展,满足未来数据增长需求

  • 统一数据管理中心,具备完备的容灾和快速恢复能力

  • 所有报表,均可由一条或多条SQL语句的即席查询完成

  • GPDB聚合计算、地理信息计算、文本检索能力可覆盖90%以上场景

  • Tableau BI报表的响应时间为秒级