降低数据治理成本,建立集团级数据标准化体系
在当今的数字化时代,某煤矿集团以长远的目光,积极响应市场变化,通过发布的数据标准规范作为研发依据,与数睿数据携手成功在煤矿板块建立集团级数据标准化体系,编制出数据资产目录与行业数据标准,搭建起1个数据整合治理平台系统,构建了数据标准内置转换、数据采集、数据治理、数据上传、数据应用块等5大核心功能模块,将数据的“采、存、算、管、用”全生命周期管理落实到平台载体上。
去年12月底,国家数据局发布了关于数字经济和城市全域数字化转型的“数据要素×”三年行动计划。随着行业数据的日积月累,数据治理的重要性也日益突出,对各类数据的标准化统一工作越来越重要。
解决数据标准问题,才能进一步扩展创新数字化应用,某煤矿集团需以发布的数据标准规范为规范数据、数据治理以及应用奠定基础,进一步支撑企业管理创新和数字化转型。
由于行业内尚无聚焦于矿井侧数据“采集、治理、上传”的实际业务需求的轻量化工具,矿井侧数据采集治理工具的建设需求则尤为迫切。具体表现在以下几个方面:
数据治理标准缺乏统一,设备的命名和描述在各个矿井侧不一致
数据资产体系未形成统一,大量矿井测数据散落在各个系统之中,难以汇聚
数据采集的工作量大、成本高,不同厂家所建设的接口和协议皆不相同,煤矿生产现场设备多、数量庞大
数据使用率低且缺乏工具,难以实现预测性分析、优化生产流程等高级的应用
数睿数据计划采用”整体规划、试点先行“的实施策略,根据各阶段工作内容之间的衔接关系,分阶段、分步骤进行实施,同时采用并行迭代的方法逐步完善和优化。
提供无代码数据应用底座,支持业务人员基于实际需求自主、便捷、高效地构建数据分析模型,为业务决策提供依据。从三个角度加强煤炭板块数据标准化体系建设,用数字化手段将数据标准规范进行转换落地,推动数据标准化体系在矿井的推广应用。
轻量化 :结合轻量化组件实现矿井侧数据高效采集及治理
全流程 :融入各类数字技术实现数据全生命周期的数字化
工具化:基于无代码技术让企业具备数据整合治理的能力
以集团数据标准化体系为基础,重点建设矿井侧轻量化数据采集治理工具,重点实现矿井侧数据采集、治理、上传和应用等功能,适配矿井侧业务特点及数据特性进行项目实施,从而达到数据标准化体系落地的数据整合治理研究的目标。
1、数据标准内置转化模型
构建数据标准管理模型,内置数据属性规范,实现国家标准、行业标准、地方标准、矿井侧标准的转换落地。
2、标准化煤矿数据采集算子库
在支持矿井侧多源异构数据采集的基础上,进一步定制采煤机、掘进机等设备主流型号数据采集算子库,实现煤矿数据高效采集。
3、数据自动转化与清洗
基于数据标准规范,自动识别和纠正数据中的错误、不一致性和异常值(如格式错误、名称不一致、取值异常),确保数据的准确性,实现数据规范落入资产库
4、煤矿数据资产管理体系
梳理煤矿矿井侧数据架构,采用数字化技术,提供管理、业务等2大维度数据资产管理目录,实现数据的规范化管理,形成煤矿企业各级数据资产。
基于项目要求,数睿数据基于其企业级无代码开发平台smardaten搭建了数据整合治理平台,包含存储层、数据层和服务层,共同支撑数据治理平台的运行。真正实现以数据为核心生产要素,完成数据要素的资产化和资本化,发挥数据对企业的财务价值和资本价值。
数据整合治理平台系统架构图
数据整合治理平台包含数据标准、数据采集、数据治理、数据上传和数据应用五大功能模块。
按照标准管理体系图对各类数据标准进行全面深入的可视化展示,主要数据包括:煤炭产业数据、安全管理数据、生产辅助数据、生产调度数据、生产技术数据、销售管理数据和其他业务相关数据。
提供数据标准概览、标准录入、标准审批、标准质量管理,另外由于数据标准管理的复杂性,还提供相关功能的操作文档和操作视频。数据标准录入支持按照不同的标准目录分类,录入多种类型标准,或批量导入数据标准,编辑数据稽核标准,对数据的完整性、规范性、一致性、准确性等进行标准化设置。
提供对业务数据采集任务的分类展示功能,通过数据连接器完成业务数据、设备数据等进行实时/准实时采集,设置数据采集频次,通过设定的数据传输方式、存储地址、数据字段处理等,完成自动采集。数据采集任务可以随时选择开启/暂停。
数据治理提供多种数据源管理、数据质量、数据清洗、数据字典、数据编目功能。
多种主流数据源连接配置与管理,数据质量提供数据质量任务管理和质量监控,通过可视化方式完成分析展示。支持对数据进行加工清洗,通过平台中封装好的60+加工算子,对目标数据按照一定规则进行加工处理转换。支持新建不同分类下具体指标的数据字典,数据标准模块内置了标准处理引擎,该引擎的存在不仅能够实现数据标准在整个数据平台内部的各个阶段的有效定义、执行、管理操作,同时还能够有效与原有业务系统或标准库进行对接。
通过数据统一监控调度,管理数据流与任务流执行情况。
调度中心负责调度上传数据任务,支持任务定制、上线、调度频率等相关配置,及调度记录、执行日志的查看能力。可查看具体调度日志,展示具体任务的执行日志,系统任务历史查询可支持对历史数据量的查询,所有的数据采集、数据交换任务有统一的可视化界面进行查询显示。对上传数据任务执行情况的监控,包括执行状态、执行进度、异常信息等进行管理分析。
矿井侧的煤矿数据应用模块是基于标准化数据治理结果,提供数据多维分析和应用模块构建,将标准化后的数据进行数据融合应用,支持各类图表可视化分析与展示大屏,能够显示动态效果,有全局性展现也有关键细节展现。
smardaten开发的数据整合治理平台适配了矿井侧业务特点及数据特性,将多类型数据进行有效整合治理。通过本次数据标准体系建设与治理实施,协助集团积累丰富的知识产权结果,累计发表论文4篇,申请专利2件和计算机软件著作权7项,实现矿业数据融合和监管,从各方面提升了企业竞争力和可持续发展能力。
1、强化数据治理,促进数据共享
强化国家标准、行业标准、地方标准等标准的有效落地,提升煤矿企业数据的质量与可靠性,降低企业信息化系统的数据治理成本,通过有效的手段进行了主动数据治理。
2、激发创新应用,提升决策效能
助力煤矿企业进行决策分析,提高生产效率,实现精益经营。优化资源配置,为煤矿企业内部管理和外部合作提供了更为全面、准确的数据支持。为数据的分析应用奠定良好的数据基础,加强了煤炭板块数据标准化体系建设。
3、推动数字化转型,引领行业升级
有助于提升煤炭产业的科技含量和附加值,实现产业的高质量发展。同时为其他煤炭企业提供可借鉴的经验和模式,帮助推动整个行业的数字化转型和升级。