热点头条

提升数据质量管理 为人社数据做“健康体检”

发布日期 / 2022-06-29

数据质量是一个综合性的问题,一般包括三个方面:元数据的质量、数据内容质量和数据使用方式质量。那么人力资源社会保障行业数据质量有哪些问题与原因呢?面对这些问题,人社行业用户和系统商又该如何提升数据质量呢?中国系统为提升人社行业数据质量专业打造了数据质量管理平台,通过对人社数据进行“健康体检”,让人社行业管理者和决策者对数据的质量状态了如指掌,为创新大数据应用建设保驾护航。


1 人社行业数据质量提升的必要性



智能时代的数据质量是一切大数据技术得以施展的核心:低质量的数据输入让一切大数据计算的结果变得不可信,忽视数据质量极大可能会让大数据辅助决策变得危险且缺乏依据。大数据项目中,数据的生产和汇集过程中普遍存在源头数据易丢失、重复、不准确、缺失核心数据、数据不符合国家标准等一些列问题,而如何监控数据的汇集、生产、交付各环节的数据质量,对数据质量进行高效管理,就变得尤为迫切。


人社业务数据质量良莠不齐,低质量数据往往存在数据冗余重复、数据缺项错项、数据精确度不够、代码指标体系不一致、唯一性字段难以确定等问题。根据人力资源和社会保障部关于持续提升数据质量和加强数据分析利用的要求,各地需要单独开发数据质量检核系统,着重在数据质量检核、统计分析利用等方面进行建设,为业务经办、基金监管和宏观决策提供正确、完整的数据基础,充分挖掘联网监测数据的价值,形成数据质量提升、数据应用的良性互动。


2 人社数据质量管理平台设计


中国系统数据质量管理平台通过构建质量检核规则,基于质量规则进行检核作业,发现大数据平台每一张表、每一个字段的质量问题,有效追溯到问题数据的源头。发现质量问题后,通过平台内和业务端的治理,不断改善和提升平台数据质量。在数据治理过程中,通过复检作业等机制,不断形成正反馈,从而有效积累有效数据质量治理知识,为大数据平台后期数据规则提供质量支持和质量保障。



总体架构


数据质量管理是在大数据平台上,独立对任意库、表、字段、大数据分区进行差异化质量检核,对数据全生命周期的管理和监控,自下向上包含存储层、应用层和业务层。


存储层:沉淀数据质量检核规则和常见数据质量问题处理方法以及结果和运行状态。

应用层:基于数据质量方法论建立完善的数据质量管理功能体系。

业务层:制定相关的岗责、流程、制度以完成数据质量问题的处理和优化。



业务流程


数据质量治理按照质量需求-提炼对象-规则库-质量作业-异常数据-分析报告-问题治理-结果反馈的流程,形成数据质量提升闭环。


功能结构


数据质量管理平台聚焦规则模板定义、作业创建、作业运行和质量报告生成的核心流程闭环,通过质量检核作业,发现大数据平台每一张表、每一个字段的质量问题,有效追溯到问题数据的源头。


结果输出


数据质量报告是数据质量管理平台的产物,本质是一个BI应用产品,基于大数据质量分析的业务场景,实现闭环的数据分析应用,为大数据发展和数据治理提供重要依据。


平台支持用户个性化配置报告分析范围,全方位多维度出具质量检核分析报告,并按照用户的需要,生成PDF、Excel和二维码等格式,定期和不定期推送给数据管理部门和相关运维人员。


3 人社数据质量管理平台亮点


中国系统数据质量管理平台具备多表跨表作业、灵活批量配置、支持复杂业务场景、异常数据备份溯源等四大功能特性。



基于海量数据和复杂业务场景的质量需求,以及对当前市场上各家厂商的竞品进行综合分析,中国系统的数据质量管理平台沉淀了以下核心特性:


先进性

基于数据的生命周期和科学有效的数据质量治理原则,全方位提升数据质量。


易用性
通过可视化界面零编码方式完成数据质量规则配置,降低操作难度和准入门槛。

智能性
自动化检核处理,定量定性全样本分析,自动匹配推荐通知问题处理方案。

流程化
对数据质量问题进行流程处理支持,规范问题处理机制和问题跟踪步骤。

完备性
提供多种问题分析能力,实现从质量指标、规则、任务、处理方案、有效知识库的闭环解决方案。


4 对提高人社数据质量的建议和思考


数据如人体的血液,是系统运行的支撑和前提,提高社会保险基础数据质量和数据利用能力势在必行。针对人力资源和社会保障行业数据存在的问题,经过梳理和归纳,就如何提高社会保险基础数据质量和数据利用能力提出如下几点建议。


落实社保政策,规范业务操作。

简化业务流程,提升服务水平。

做好统筹兼顾,完善信息体系。

加快部门协作,建立互联通道。


数据质量如同数据的生命,错误的数据不仅影响社保的相关业务经办,同时也会降低社保数据的利用价值。因此,人力资源和社会保障行业应采用有效技术手段,建设数据质量管理平台,加大力度提高社保数据质量和数据利用能力,确保信息数据的真实、科学、实用。



中国系统部委行业部解决方案架构师宋志峰

咨询邮箱:songzhifeng@cestc.cn