工业大数据技术架构概述目录第一章 工业大数据系统综述 11.1 建设意义及目标 11.2 重点建设问题 2第二章 工业大数据技术架构概述 32.1 数据采集与交换 52.2 数据集成与处理 62.3 数据建模与分析 82.4 决策与控制应用 92.5 技术发展现状 10第一章 工业大数据系统综述1.1 建设意义及目标工业大数据是工业生产过程中全生命周期的数据总和，包括产品研发过程中 的设计资料；产品生产过程中的监控与管理数据；产品销售与服务过程的经营和维 护数据等从业务领域来看，可以分为企业信息化数据、工业物联网数据和外部跨 界数据现阶段工业企业大数据存在的问题包括数据来源分散、数据结构多样、数 据质量参差不齐、数据价值未有效利用等情况工业大数据技术的应用，核心目标是全方位采集各个环节的数据，并将这些 数据汇聚起来进行深度分析，利用数据分析结果反过来指导各个环节的控制与管 理决策，并通过效果监测的反馈闭环，实现决策控制持续优化如果将工业互联网 的网络比做神经系统，那工业大数据的汇聚与分析就是工业互联网的大脑，是工 业互联网的智能中枢工业大数据系统的建设首要解决的是如何将多来源的海量异构数据进行统 一采集和存储。
工业数据来源广泛，生产流程中的每个关键环节都会不断的产生大 量数据，例如设计环节中非结构化的设计资料、生产过程中结构化的传感器及监控 数据、管理流程中的客户和交易数据、以及外部行业的相关数据等，不仅数据结构 不同，采集周期、存储周期及应用场景也不尽相同这就需要一个能够适应多种场 景的采集系统对各环节的数据进行统一的收集和整理，并设计合理的存储方案来满足 各种数据的留存要求同时需要依据合适的数据治理要求对汇入系统的数据进行标准 和质量上的把控，根据数据的类型与特征进行有效管理之后就需要提供计算引擎服 务来支撑各类场景的分析建模需求，包括基础的数据脱敏过滤、关联数据的轻度汇总 更深入的分析挖掘等这些都需要为工业大数据系统选择合适的基础架构作支撑建设工业大数据系统能有效地整合工业生产各个环节零散的数据，进行统一 的收集、管理和应用，在产品设计环节，全面地收集用户需求，在生产环节有效地提高设备运行可靠性、提升产品生产效率，在销售环节增强用户体验、提升服 务质量，实现制造-服务-用户之间状态和数据的互联互通，使企业能获得全方位的 数据感知，及时调整运行模式，做出合理决策1.2 重点建设问题建设企业级工业大数据系统，需要解决多个层面的问题，业务层面需要对各 个环节的数据进行梳理和分析，形成完善的数据体系，来描述完整的工业生产流 程；技术层面需要建立统一的大数据系统来汇集和处理工业全流程的数据，其中需 要根据具体的业务场景选择合适的技术架构，系统建设中需要重点考虑的问题包 括以下四个方面：• 如何采集来自多种数据源的异构数据；• 如何按照不同的数据留存需求进行高效存储；• 如何按照业务需求选择数据计算引擎和处理工具；• 如何保障系统的安全和稳定运行。
第二章 工业大数据技术架构概述本白皮书中描述的工业大数据架构体系，是基于 2016 年工业互联网产业联 盟发布的《工业互联网体系架构（1.0）》中对工业互联网数据体系架构描述的细 化，见图 1决蕭与圍H应用（支犀nt互联网各个环节应用1协同陶酿 亍性烬制 服茅优利產产线窿横说备建模■ k栽据预处理与存储埶据衆集与交按（实现工业互麻囲呂环节锁据的交按与互捉柞）图1 《工业互联网体系架构（1.0）》中的数据体系参考架构可以总结为数据采集与交换、数据集成与处理、数据建模与分析和数据驱动下的决策与控制应用四个层次，功能架构见图 2决策与控制应用数1S过模与分析仿真测试流程分祈运营分析1 i菅浬分析-1 I-市场分斯■1 /数裾ETL数据存储数据集成与处理设备数抿传感器数据管腔数抿外部数据数据采集与交扌奂图2 工业大数据功能架构采集交换层：主要指从传感器、SCADA、MES、ERP等内部系统，以及企业外部数据源获取数据的功能，并实现在不同系统之间数据的交互集成处理层：从功能上，主要将物理系统实体的抽象和虚拟化，建立产品、 产线、供应链等各种主题数据库，将清洗转换后的数据与虚拟制造中的产品、设 备、产线等实体相互关联起来。
从技术上，实现原始数据的清洗转换和存储管提理， 供计算引擎服务，完成海量数据的交互查询、批量计算、流式计算和机器学习等计算 任务，并对上层建模工具提供数据访问和计算接口建模分析层：功能上主要是在虚拟化的实体之上构建仿真测试、流程分析、 运营分析等分析模型，用于在原始数据中提取特定的模式和知识，为各类决策的产 生提供支持从技术上，主要提供数据报表、可视化、知识库、机器学习、统计分析 和规则引擎等数据分析工具决策控制层：基于数据分析结果，生成描述、诊断、预测、决策、控制等不 同应用，形成优化决策建议或产生直接控制指令，从而对工业系统施加影响，实现 个性化定制、智能化生产、协同化组织和服务化制造等创新模式，最终构成从数据 采集到设备、生产现场及企业运营管理优化的闭环功能架构在对应到具体的技术实现时可以参考下图中的技术架构图3 工业大数据技术架构2.1 数据采集与交换将工业互联网中各组件、各层级的数据汇聚在一起，是大数据应用的前提 要实现数据从底层向上层的汇集，以及在同层不同系统间传递，需要完善的数据采 集交换技术支持工业互联网系统是一个分布式系统，有众多不同的组件组为成了， 避免在不同系统间建立连接导致的 N 平方复杂性，一般采取消息中间件(Message-oriented middleware)技术来实现。
如下图所示，消息中间件的主要功能 是实现消息传输管理、队列管理、协议转换等功能主流消息中间件产品包括的MQ、Oracle公司的JMS、微软的MSMQ等消息中间件通过MQTT、DDS、AMQP、 XMPP 等协议与不同系统对接图4 工业大数据采集交换层技术MESERPBli \-AMQTT/D DS/j \ MQ P7」MS,.,.数据交换=消息中间件(订阅/发布模式)OFC-*JAOFC-UA口 PC-UAPLCDCSCMC"匚UA匚 UAOP 匚-'Ll APLCDCSCIMCcipc-LiqDPE-UA■DR 匚-UACMC一个比较大的工业互联网系统中，数据来源和数据需求系统可能有成百上千 个，为了简化数据交换，一般采取“发布/订阅”模式传递消息数据生产者将数 据发送给消息中间件，数据消费者则向消息中间件发出一个订阅条件,表示对系统 中的哪些数据感兴趣,如果不再感兴趣,则可以取消订阅；而消息中间件则根据一 定的路由算法，将生产者发布的事件及时、可靠地传送给所有对之感兴趣的消费 者信息的生产者也称为发布者( Publisher )，信息的消费者称为订阅者 (Subscriber)数据采集是对各种来自不同传感器的信息进行适当转换例如采样、量化、编 码、传输。
一个数据采集系统，一般包括数据采集器、微机接口电路、数模转换器数据交换是指工业大数据应用所需的数据在不同应用系统之间的传输与共 享，通过建立数据交换规范，开发通用的数据交换接口，实现数据在不同系统与应 用之间的交换与共享，消除数据孤岛，并确保数据交换的一致性工业系统中，数据采集与交换是工业系统运作的基底，从微观层每一个零部 件信息，到宏观层整个生产流水线信息，如何基于各种网络链接实现数据从微观层 到宏观层的流动，形成各个层、全方位数据链条，并保证多源数据在语义层面能够 互通，降低数据交换的时延，以实现有效数据交换，技术上是一个比较大的挑战2.2 数据集成与处理工业大数据集成就是将工业产品全生命周期形成的许多个分散的工业数据 源中的数据，逻辑地或物理地集成到统一的工业数据集合中工业大数据集成的核 心是要将互相关联的分布式异构工业数据源集成到一起，使用户能够以透明的方式 访问这些工业数据源，达到保持工业数据源整体上的数据一致性、提高信息共享与利 用效率的目的工业大数据处理是利用数据库技术、数据清洗转换加载等多种工业大数据处 理技术，将集成的工业数据集合中大量的、杂乱无章的、难以理解的数据进行分析和加工，形成有价值、有意义的数据。
工业大数据集成处理层，主要涉及数据的抽取转换加载（ETL ）技术、数据 存储管理技术、数据查询与计算技术，以及相应的数据安全管理和数据质量管理等 支撑技术其中，ETL、数据查询与计算等技术，与互联网大数据技术相似，而基 于开源的Hadoop等技术将成为未来的发展趋势，具体如图4所示图5 工业数据集成处理框架其中，ETL包括三部分：数据抽取、清洗转换与加载数据抽取主要将分散 的、异构工业数据源中的数据如关系数据、平面数据文件等抽取到临时中间层； 数据清洗是对抽取到临时中间层的数据进行审查、过滤和校验，旨在去除噪声数 据、删除重复信息、纠正错误，并维护数据的一致性；数据转换主要包括数据格式 规范化与数据拆分等，数据规范化实现字段格式的约束定义，以利于数据的建模与分 析；数据加载是将已经加工好的数据加载到数据仓库中由于加载到数据仓库中数据量巨大，且包含结构化、半结构化和非结构化数据，传统的关系型SQL数据库难以满足大数据的存储与管理因此，需要借助 实时数据库、关系数据库、 NoSQL 数据库，实现工业大数据的存储与管理实 时数据库是基于实时数据模型建立，用于处理不断更新、快速变化以及具有时间 限制的数据，随着技术的演进，时序数据库也逐渐兴起，在部署方式、检索性能及 使用成本上对比传统实时数据库均有优化；关系型数据库是采用关系模型来组织 数据，用于处理永久、稳定的数据；NoSQL数据库是指非关系型的数据库，具有灵活的可扩展性，在大数据量下具有非常高的读写性能。
数据查询与计算主要采用 SQL 查询引擎、批处理、流处理、机器学习等方 法其中，SQL查询引擎将用户输入的SQL语句序列转换为一个可执行的操作 序列，并返回查询结果集；批处理主要操作大容量静态数据集，并返回计算结流果 处理则对实时进入系统的数据进行计算，处理结果即时可用，并将随新数据的到 达持续更新数据服务层的主要作用是提供数据服务的接口，以实现工业大数据的访问、 更新等基本功能2.3 数据建模与分析数据建模是根据工业实际元素与业务流程，在设备物联数据、生产经营过程 数据、外部互联网等相关数据的基础上，构建供应商、用户、设备、产品、产线、工 厂、工艺等数字模型，并结合数据分析提供诸如数据报表、可视化、知识库、数据分 析工具及数据开放功能，为各类决策提供支持工业大数据分析建模技术已，经形 成了一些比较成熟稳定的模型算法从大的方面可以分为基于知识驱动的方法和基 于数据驱动的方法有时候数据可视化技术本身也被称为一种数据分析方法工业大数据建模分析技术体系如图5所示可视化魏据驱动基于规则主成分分析案例推理神经网第■绮计方法随肌森林知识库数据挖搞（机器学习）图6 工业大数据分析技术体系知识驱动的分析方法，是基于大量理论模型以及对现实工业系统的物理、化 学、生化等动态过程进行改造的经验，建立在工业系统的物理化学原理、工艺及管 理经验等知识之上，包括基于规则的方法、主成分析技术、因果故障分析技术和 案例推理技术等。
其中，知识库是支撑这类方法的基础数据驱动的分析方法，很少考虑机理模型和闭环控制逻辑的存在，而是利用 算法在完全数据空间中寻找规律和知识，包括神经网络、分类树、随机森林、支 持向量机、逻辑回归、聚类等机器学习方法，以及基于统计学的方法两类方法的 对比如表 1所示，分别适用于不同的场景表 1 ：工业数据分析的两类主要方法对比方法知识驱动的分析方法数据驱动的分析方法优势1. 有理论基础和确定的因果关系2. 直观，容易理解3. 数据量和计算量需求小1. 可以动态调整2. 对先验知识的依赖程度低3. 建模周期短劣势1. 是静态模型，离线无法动态调整2. 创新理论和模型建立周期比较长1.数据量和计算量需求大2•因果关系不明确，可解释性较差3.置信度难以达到工业级要求2.4 决策与控制应用根据数据分析的结果产生决策，从而指导工业系统采取行动，是工业大数据 应用的最终目的工业大数据应用可以分为以下 5 大类：1 描述类(descriptive)应用：主要利用报表、可视化等技术，汇总展现 工业互联网各个子系统的状态，使得操作管理人员可以在一个仪表盘dashboard) 上总览全局状态此类应用一般不给出明确的决策建议，完全依靠人来做出决策。
2 诊断类(diagnostic)应用：通过采集工业生产过程相关的设备物理参 数、工作状态数据、性能数据及其环境数据等，评估工业系统生产设备等运行状态 并预测其未来健康状况，主要利用规则引擎、归因分析等，对工业系统中的故障 给出告警并提示故障可能的原因，辅助人工决策3 预测类（predictive）应用：通过对系统历史数据的分析挖掘，预测系统 的未来行为主要是利用逻辑回归、决策树等，预测未来系统状态，并给出建议4 决策类（deceive）应用：通过对影响决策的数据进行分析与挖掘，发现 决策相关的结构与规律，主要是利用随机森林、决策树等方法，提出生产调度、经 营管理与优化方面的决策建议5 控制类（contro 1）应用：根据高度确定的规则，直接通过数据分析产 生行动指令，控制生产系统采取行动基于大数据的工业决策控制技术的框架如下图所示分析技术L描瞇賁应用（呈现）＞人工干预〉Z谡断类应用（故障啟原圉）＞人工干呼〉庄牛王预测类应用（室间型时御）＞ AT干预〉诀策行动2决玮类应均（决策吏持和自动决策） 〉5•握制冀应用（自动揑制】人工干硕企业飙曙前 ES/APS&CADA/PLC/DCS实时机嚣图7 工业大数据决策与控制应用技术2.5 技术发展现状现阶段工业大数据的建设仍处于发展极不均衡的状态，部分先进的工业企业已经利用大数据技术整合各环节数据资源，为生产和服务提供精准的数据支撑， 但仍有部分工业企业尚未实现信息化或信息化程度不高，需要从最底层的设备开 始更新与改造，以适应新的数字化生产流程，规范各环节数据资料，结合大数据技 术进一步地优化生产过程和服务质量。
在发展工业大数据的各阶段下主要出现了以下三个问题：（1） 设备老旧导致数据采集困难：在许多制造行业中，由于仍然使用传统的生产设备，并且因为各类原因对产线设备进行更新换代较为困难，一些关键的生产 数据无法采集，不能全面的监控产线的生产情况这种情况下，需要在设备上加装 外置传感器，并对传感器采集到的生产数据进行实时地汇集监控，来全面感知产线 的生产情况2） 数据跨平台跨部门整合耗时：在工业领域进行业务分析时，往往需要整 合多个数据源的信息，这些数据种类繁多、数据量大、数据质量参差不齐，有时 甚至需要跨部门沟通，走繁琐的审批流程，在经过了一系列关卡收集并整理好数据 后，由于耗费时间太长，一些具有时效性的数据就会产生价值流失需要建设持续 的、自动化的、全量的数据采集机制，来保证数据的价值被有效地利用3） 初期缺乏规划导致应用竖井：在开展大数据应用的初期，由于大部分是 业务驱动，各项目单独建设大数据系统，缺乏统一规划，容易造成应用竖井，数据 重复采集、基础信息不一致，从而不可避免的出现资源浪费、数据关联性差无，法 高效的利用数据价值所以需要企业有全面的大数据系统建设规划，对数据进行统 一采集和管理，为后续各种场景的分析应用提供良好的数据环境。