产 品

数据校验平台

  由于银行业务系统建设的复杂性及业务应用的多样性,在长期的使用中,在业务系统中必然积累的大量的“脏数据”,这类数据对银行的业务系统正常使用不会造成危害,但是对业务的精确计量带来很大的影响。
  合度云天的数据校验平台可以满足客户在系统建设中对数据质量的要求:
 ·数据的完整性,就是要保证数据的不重不漏原则得以实现
 ·业务产品属性完整性,对各业务属性使用一系列的业务逻辑规则进行检查,主要包括数据完整性检查、业务  数据逻辑规则检查、数据质量总体状况检查及报告等。

  数据校验平台通过完善的数据质量校验体系对数据质量进行管理。



  数据质量校验体系的核心在于数据质量稽核规则库,在规则库中对数据常见的问题进行了归类,对每一类的问题,有相应的稽核规则进行检查。根据合度云天在多家银行的实施经验及对国内商业银行数据质量的分析结果,数据质量稽核的规则包含如下几个类别:
 ·数据完整性校验:校验所提取原始数据的科目完整性。
 ·数据一致性校验:校验所提取数据在不同数据表中一致性。
 ·数据合理性校验:根据设定的阀值判读数据的合理性。
 ·数据总分校验:校验所提取原始数据的总分账核对。
 ·现金流字段校验:对于CHECK数据校验表中的数据进行现金流字段校验,包括现金流字段的取值是否合法、是否满足
  现金流字段间的相互约束等。
 ·针对银行已存在的“脏数据”进行检查的客户化规则。

----系统功能
1.校验规则管理模块
  校验规则管理模块具备规则定义、修改、查询、设置、多版本管理等功能,并将校验规则的定义以元模型的方式存储在数据库中,是对校验规则进行维护的主要模块。
2.校验规则引擎
  校验规则执行引擎根据校验规则的元数据定义,解析成在数据库中可以执行的SQL脚本,并将SQL脚本部署在对应的数据库中。
3.校验数据区
  为防止校验规则的执行影响数据处理的整体效率,平台采用了数据校验区的方案,将需要校验的字段从原数据表中以视图和窄表的方式剥离出来,在数据量大幅减少的情况下,SQL语句的执行效率能够得到保证。
4.校验报表
  校验报表用于展示数据校验的结果,模块内已经预置了一部分校验报表的格式,可以根据数据质量的情况增加新的校验报表。