扫码微信咨询
数据管理能力成熟度发展趋势
2022-01-12
571
近年来，数据管理工作已经成为很多行业工作的重点，中国银保监会于2018年5月21日正式发布了《银行业金融机构数据治理指引》，提出了中国银行业数据治理管理的规范体系;中国证券业协会制定了《证券公司数据治理操作指引(征求意见稿)》，明确证券行业数据管理的整体要求；中国电机工程学会制定了《电力公司数据管理能力成熟度评估模型》；各地大数据主管机构也都纷纷发布数据管理条例，明确地方上数据管理的工作要求。这表明在行业上、地方上数据管理都已经成为关注的重点，特别是国家关于数据要素市场发展的指导意见出台以后，大数据产业的发展进入了快车道，并且呈现出了一些新的趋势。
一、数据资产化已经成为趋势
经过多年来大数据产业的快速发展，数据资产化、价值化已经不仅仅是句口号，而是在很多行业中得到了落实。通过DCMM贯标工作的开展可以发现，大数据的价值已经不仅仅是对企业内部的管理支撑，大数据在支撑政府精细化管理、公众服务以及价值变现等方面发挥了巨大的作用，特别是在2020年新冠疫情出现以后，通信行业开发了行程卡，基于运营商大数据精准掌握个人的行程，便于疫情的追踪和防控，有力支撑了国家疫情防控工作的开展;同时，电力行业也在积极探索电力大数据的应用动量，基于电力数据构建了“企业复工电力指数”、 “疫情工业用电量分析”等应用，研发经济复苏期分析模型，在疫情期间形成“日监测、日分析、日报送”机制，辅助政府研判行业发展。这些大数据的应用场景一方面体现了大数据的价值，支撑了政府的精细化管理，服务了社会大众的管理需求，同时也是对于全社会关于大数据方面的普及教育，提升了全社会对于大数据价值的认可度。
同时，越来越多的企业也在关注数据资产的价值变现工作，新兴的互联网、大数据领域的企业走在了各行业的前列，他们作为数字原生类企业对于趋势的发展更加敏感，同时也积累了大量的数据，例如阿里巴巴、腾讯，百度等互联网巨头，他们早就意识到了数据就是企业战略资产，并且基于数据开发了各种应用场景对外提供服务，例如征信报告、风险管控、位置服务等等。另一方面，传统行业也在不断的觉醒，他们也意识到了自身拥有数据的价值，例如通信行业、金融行业、电力行业等等，这些行业中的领军企业也在不断探索数据价值变现的商业模式，积极开展数据价值变现的工作，特别是通信领域的运营商，很多运营商公司开放了征信报告、选址服务、客户画像等数据服务，基于大数据对外的服务实现了可观的经济收益。
二、数据安全成为企业关注的重点
随着大数据产业的快速发展，数据安全得到了越来越多的重视，目前全球已有近100多个国家和地区制定了数据安全保护的法律法规，数据安全保护专项立法已成为国际惯例，对外通过跨境数据相关立法保护数据主权，对内通过数据安全立法规范企业数据管理行为，国家的边界保护从网络空间扩展到数据空间。我们国家数据安全相关的立法进行也在不断加快，2017年6月，《网络安全法》已经正式开始实施，重点强调了网络空间下数据的保护工作，特别是个人数据采集、传输、加工和应用等方面的保护，提出了合法、正当、必要的管理原则。2021年6月，《数据安全法》也正式颁布，在《网络安全法》的基础上进一步扩充，提出要开展数据分类分级，建立行业、地方上的重要数据目录、重要数据出境报备管理等方面的管理制度，进一步提升了数据安全的重要性。
在这个背景下，越来越多企业对于数据安全管理更加重视，通过DCMM贯标工作的开展可以发现，数据分类分级是很多企业关注的重点，其中43%的企业已经开展了数据分类分级的工作，基本满足了DCMM标准中关于分类分级的管理要求。对比中国电子技术标准化研究院2017年发布的《数据管理能力成熟度发展情况调研报告》可以看到，经过几年的发展，数据安全管理能力得到了很大的提升。
三、数据是数据管理的基础
元数据的标准定义为“关于数据的数据(data about data)”，就是企业中描述数据的业务规则、管理规则和技术规则以及相互之间关系的数据。根据Gartner 2020年发布的《Magic Quadrant for Metadata Management Solutions》 报告中对元数据管理工具的描述，元数据描述了数据在其生命周期各个阶段中提升可用性的各类信息，是企业管理和应用数据资产的核心职能。一直以来，元数据始终是数据管理工作的重点之一，特别是越来越多的企业从IT时代走入到DT时代以来，元数据就是企业打开各个信息系统“黑盒子”的重要武器，一方面，通过元数据管理可以帮助了解企业数据资产的分布情况，越来越多的企业通过元数据管理工具或者数据盘点工作的开展，梳理各个系统中的数据信息，明确数据的定义、管理要求和业务规则，进而构建公司层面的数据目录，为企业数据的共享、应用打下基础。另外一方面，元数据是企业开展数据质量、数据安全管理的重要基础，元数据描述了企业中各类数据的业务规则和管理要求，这些信息都是企业开展数据质量管理和数据安全管理的重要依据。
根据DCMM贯标工作的开展，我们可以发现一个普通规律就是数据管理能力等级较高企业中的元数据管理能力普遍较好，这类企业普遍重视元数据管理的工作，投入了大量的精力在数据盘点、业务元数据完善等方面。但是比较遗憾的是，当前行业中元数据平均能力依然薄弱，当前的平均水平为1.94, 低于平均数据管理能力的水平，这也表明了元数据管理能力依然需要提升。
四、人工智能技术在数据治理中的应用
随着信息技术、物联网等技术的快速发展，企业采集、管理的数据越来越多，而企业从事数据管理的人员变化相对比较缓慢，这时候就出现了不断增多的数据和相对短缺的人员之间的矛盾，而且，传统的数据治理也需要大量的人力参与，例如业务元数据的补充，数据质量规则的梳理等工作，都需要投入大量的人力物力，这也导致了很多企业数据治理工作的开展举步维艰，持续性很差。2020年Gartner发布了《数据与分析领域的十大技术趋势》，其中重点提到了增强型数据管理，所谓的增强型数据管理就是利用机器学习ML和人工智能AI技术优化并改进运营，Gartner 认为增强型数据管理产品能够审查大量的运营数据样本，包括实际查询、性能数据和方案。利用现有的使用情况和工作负载数据，增强型引擎能够对运营进行调整，并优化配置、安全性和性能。这也是近几年国内外数据治理领域发展的新越势，越来越多的数据治理产品中加入了机器学习ML和人工智能AI等技术，例如IBM Watson Knowledge Catalog利用watson强大的人工智能引擎，可以帮助企业轻松找到、理解和使用所需的数据，能够自动的、快速发现数据并且标识数据，自动分析数据之间的关联关系，进而帮助企业更好的管理和应用数据。
通过DCMM贯标工作的多次开展，我们也可以看到数据管理能力较好的企业更多的采用了机器学习ML和人工智能AI等技术，例如百度的“雅典娜”数据安全平台，就综合利用了数据相关性分析、联合建模、模型预测、框架计算等多种技术开展数据安全的保护工作。同时还有很多公司基于人工智能等技术在数据质量管理、元数据管理、数据标准管理等方面开展了探索和应用。人工智能技术本身也需要大量的、高质量的数据，而数据治理工作的目标之一就是提升数据的质量状况，所以，人工智能和数据治理工作的开展必将是相辅相成的，通过人工智能技术可以更好的提升数据治理的效率，通过数据治理则可以提高数据质量的状况，反过来推进人工智能技术的进步。
一、数据资产化已经成为趋势
经过多年来大数据产业的快速发展，数据资产化、价值化已经不仅仅是句口号，而是在很多行业中得到了落实。通过DCMM贯标工作的开展可以发现，大数据的价值已经不仅仅是对企业内部的管理支撑，大数据在支撑政府精细化管理、公众服务以及价值变现等方面发挥了巨大的作用，特别是在2020年新冠疫情出现以后，通信行业开发了行程卡，基于运营商大数据精准掌握个人的行程，便于疫情的追踪和防控，有力支撑了国家疫情防控工作的开展;同时，电力行业也在积极探索电力大数据的应用动量，基于电力数据构建了“企业复工电力指数”、 “疫情工业用电量分析”等应用，研发经济复苏期分析模型，在疫情期间形成“日监测、日分析、日报送”机制，辅助政府研判行业发展。这些大数据的应用场景一方面体现了大数据的价值，支撑了政府的精细化管理，服务了社会大众的管理需求，同时也是对于全社会关于大数据方面的普及教育，提升了全社会对于大数据价值的认可度。
同时，越来越多的企业也在关注数据资产的价值变现工作，新兴的互联网、大数据领域的企业走在了各行业的前列，他们作为数字原生类企业对于趋势的发展更加敏感，同时也积累了大量的数据，例如阿里巴巴、腾讯，百度等互联网巨头，他们早就意识到了数据就是企业战略资产，并且基于数据开发了各种应用场景对外提供服务，例如征信报告、风险管控、位置服务等等。另一方面，传统行业也在不断的觉醒，他们也意识到了自身拥有数据的价值，例如通信行业、金融行业、电力行业等等，这些行业中的领军企业也在不断探索数据价值变现的商业模式，积极开展数据价值变现的工作，特别是通信领域的运营商，很多运营商公司开放了征信报告、选址服务、客户画像等数据服务，基于大数据对外的服务实现了可观的经济收益。
二、数据安全成为企业关注的重点
随着大数据产业的快速发展，数据安全得到了越来越多的重视，目前全球已有近100多个国家和地区制定了数据安全保护的法律法规，数据安全保护专项立法已成为国际惯例，对外通过跨境数据相关立法保护数据主权，对内通过数据安全立法规范企业数据管理行为，国家的边界保护从网络空间扩展到数据空间。我们国家数据安全相关的立法进行也在不断加快，2017年6月，《网络安全法》已经正式开始实施，重点强调了网络空间下数据的保护工作，特别是个人数据采集、传输、加工和应用等方面的保护，提出了合法、正当、必要的管理原则。2021年6月，《数据安全法》也正式颁布，在《网络安全法》的基础上进一步扩充，提出要开展数据分类分级，建立行业、地方上的重要数据目录、重要数据出境报备管理等方面的管理制度，进一步提升了数据安全的重要性。
在这个背景下，越来越多企业对于数据安全管理更加重视，通过DCMM贯标工作的开展可以发现，数据分类分级是很多企业关注的重点，其中43%的企业已经开展了数据分类分级的工作，基本满足了DCMM标准中关于分类分级的管理要求。对比中国电子技术标准化研究院2017年发布的《数据管理能力成熟度发展情况调研报告》可以看到，经过几年的发展，数据安全管理能力得到了很大的提升。
三、数据是数据管理的基础
元数据的标准定义为“关于数据的数据(data about data)”，就是企业中描述数据的业务规则、管理规则和技术规则以及相互之间关系的数据。根据Gartner 2020年发布的《Magic Quadrant for Metadata Management Solutions》 报告中对元数据管理工具的描述，元数据描述了数据在其生命周期各个阶段中提升可用性的各类信息，是企业管理和应用数据资产的核心职能。一直以来，元数据始终是数据管理工作的重点之一，特别是越来越多的企业从IT时代走入到DT时代以来，元数据就是企业打开各个信息系统“黑盒子”的重要武器，一方面，通过元数据管理可以帮助了解企业数据资产的分布情况，越来越多的企业通过元数据管理工具或者数据盘点工作的开展，梳理各个系统中的数据信息，明确数据的定义、管理要求和业务规则，进而构建公司层面的数据目录，为企业数据的共享、应用打下基础。另外一方面，元数据是企业开展数据质量、数据安全管理的重要基础，元数据描述了企业中各类数据的业务规则和管理要求，这些信息都是企业开展数据质量管理和数据安全管理的重要依据。
根据DCMM贯标工作的开展，我们可以发现一个普通规律就是数据管理能力等级较高企业中的元数据管理能力普遍较好，这类企业普遍重视元数据管理的工作，投入了大量的精力在数据盘点、业务元数据完善等方面。但是比较遗憾的是，当前行业中元数据平均能力依然薄弱，当前的平均水平为1.94, 低于平均数据管理能力的水平，这也表明了元数据管理能力依然需要提升。
四、人工智能技术在数据治理中的应用
随着信息技术、物联网等技术的快速发展，企业采集、管理的数据越来越多，而企业从事数据管理的人员变化相对比较缓慢，这时候就出现了不断增多的数据和相对短缺的人员之间的矛盾，而且，传统的数据治理也需要大量的人力参与，例如业务元数据的补充，数据质量规则的梳理等工作，都需要投入大量的人力物力，这也导致了很多企业数据治理工作的开展举步维艰，持续性很差。2020年Gartner发布了《数据与分析领域的十大技术趋势》，其中重点提到了增强型数据管理，所谓的增强型数据管理就是利用机器学习ML和人工智能AI技术优化并改进运营，Gartner 认为增强型数据管理产品能够审查大量的运营数据样本，包括实际查询、性能数据和方案。利用现有的使用情况和工作负载数据，增强型引擎能够对运营进行调整，并优化配置、安全性和性能。这也是近几年国内外数据治理领域发展的新越势，越来越多的数据治理产品中加入了机器学习ML和人工智能AI等技术，例如IBM Watson Knowledge Catalog利用watson强大的人工智能引擎，可以帮助企业轻松找到、理解和使用所需的数据，能够自动的、快速发现数据并且标识数据，自动分析数据之间的关联关系，进而帮助企业更好的管理和应用数据。
通过DCMM贯标工作的多次开展，我们也可以看到数据管理能力较好的企业更多的采用了机器学习ML和人工智能AI等技术，例如百度的“雅典娜”数据安全平台，就综合利用了数据相关性分析、联合建模、模型预测、框架计算等多种技术开展数据安全的保护工作。同时还有很多公司基于人工智能等技术在数据质量管理、元数据管理、数据标准管理等方面开展了探索和应用。人工智能技术本身也需要大量的、高质量的数据，而数据治理工作的目标之一就是提升数据的质量状况，所以，人工智能和数据治理工作的开展必将是相辅相成的，通过人工智能技术可以更好的提升数据治理的效率，通过数据治理则可以提高数据质量的状况，反过来推进人工智能技术的进步。