什么是数据质量框架（Data Quality Framework）以及如何实施？

数据质量管理是许多企业迫切关心的问题。这是一个尴尬的阶段，企业拥有所需的数据，但仍然无法产生依赖于数据的效果。实施清理和转换数据的数据质量框架与收集数据同样重要。从长远来看，这些纠正措施可以帮助提高组织的运营效率和工作生产力。

• 什么是数据质量框架？ 

• 数据质量框架各阶段 

1. 评估：评估数据质量对组织意味着什么以及如何衡量它。 

2. 设计：通过选择一组数据质量流程和系统架构来设计合适的数据质量管道。 

3. 执行：对现有数据和传入数据执行设计的管道。 
4. 监控：监控和分析数据中的数据质量问题，并测量数据质量指标，以确保它们保持在定义的阈值之上。 
    

• 如何实施数据质量框架？ 

1. 评估 

• 选择传入数据源，例如 CRM、营销工具、第三方供应商等。 
• 选择完成信息所需的属性，例如客户姓名、电话号码、地址等。 
• 定义所选属性的数据类型、大小、模式和格式，例如电话号码应包含 11 位数字，并应遵循以下模式：(XXX)-XXX-XXXX。 
• 选择定义可接受性标准（例如客户偏好）的数据质量指标可以达到约 90% 的准确度和 80% 的完整性，但客户名称必须 100% 准确和完整。 

• 运行数据配置文件检查以评估现有数据针对定义的数据质量的执行情况。 

   

2. 设计 

• 选择清理、匹配和保护数据质量所需的数据质量进程。（以下是此步骤中通常包含的一些数据质量进程）
• 需要进行数据解析和合并来划分或连接列，无论如何要使数据更有意义。 
• 数据清理和标准化，以消除干扰信息（例如空值和前导/尾随空格），并将值转换为可接受的格式。 
• 数据匹配和重复数据删除，以识别属于同一实体的记录并消除重复记录。 
• 数据合并和生存，覆盖过时的值并合并记录以获得单一视图。 
• 用于捕获更新历史记录并实施基于角色的访问的 数据治理规则。

• 决定何时执行选定的数据质量进程；在输入时、处理中或数据提交到数据库之前。 

   

3. 执行 

4. 监控 

• 检查配置的进程是否按预期工作。 
• 确保在将数据传输到目标源之前消除或最大程度地减少数据质量问题。 
• 如果系统出现严重错误，则发出警报。 

• 迭代数据质量生命周期 

• 数据质量定义需要更新；
• 需要引入新的数据质量指标；
• 数据质量管道需要重新设计； 
• 需要对数据再次执行数据质量进程，等等。 

文章来源：TLMS微信公众号，未经授权严禁转载！