DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
DT时代的智慧产物
让系统“多动脑”,让用户“少跑腿”

全量数据质量管理平台(玉衡)

全量数据质量管理平台(DQMP)——玉衡


玉衡是北斗七星中第一亮星,在康赛数据中台中代表全量数据质量管理平台(DQMP),代表了康赛对数据质量的执着追求。DQMP为一款专业的数据质量检测监控工具,其有科学的数据质量检测框架,强大稳定的检测性能,并自动生成让人易于理解的各类数据质量报告,适合各类人群阅读。


科学的数据质量评估框架


EDQAF(DataQualityAssessmentFramework)是数据质量评估框架,这个框架包含一系列联机数据质量测量过程(称为元规则),这些元规则从五个方面,即完备性、及时性、有效性、一致性和完整性评价数据质量。元规则是EDQAF的核心,决定了数据质量规则的类型复杂度。 目前系统内置34条元规则,通过这些元规则的组合可以检测成千上万种数据质量问题。


一键快速评估

当不熟悉检测数据情况时,可通过快速评估工具快速掌握数据情况。尤其检测外来第三方库,通过评估数据情况更好配置适合的规则。


·  支持一键评估多种类型字段、内置多种评估指标

    支持对多种类型的字段进行评估,针对“字符类、数字类、日期类”不同类型字段评估项有所不同。


·  评估结果为设置质量规则提供参考

    根据评估指标对单个数据项的数据质量进行评估,加入评估队列得到评估结果,评估结果将作为业务规则设置的参考项。



质量检测规则可视化配置

规则定义无需编写sql或代码,通过可视化界面进行配置,使业务人员也能定义规则,大大降低技术门槛。


· 系统自动推荐匹配的质量规则

根据字段在执行标准、元数据中配置的约束条件,对表中符合推荐规则但未配置相应业务规则的字段进行推荐,方便管理员对业务规则初始化和进行查漏补缺。


· 规则模板快速自动生成

选择的表存在字段满足任一快速生成规则模板的条件时,系统自动生成规则Excel模板,仅需简单处理后导入生成数据质量检测规则,大大提高简单规则的配置效率。


丰富全面的质量报告



· 通过质量规则检测生成数据质量报告

· 结合机器学习自动生成智能数据质量报告






支持多种常用数据库

支持检测多种常用数据库,如Mysql、Oracle、MongoDB等。

同时支持连接多类国产数据库,如达梦、人大金仓等。


管理员可以根据实际质量检测需要,灵活配置数据源。支持自动检测数据库的连接可用性,支持第三方业务系统数据库立即同步或周期性同步元数据。



系统健壮性