银行全量数据存储查询分析案例

某股份制商业银行全量数据存储查询分析案例

 

项目背景

该银行成立于1992年,是经国务院批复并经中国人民银行批准设立的全国性股份制商业银行,已在境内设立分支机构 1252 家,机构网点辐射全国136个经济中心城市;
目前,该银行已经汇集了近30年的历史数据,但是核心业务系统只能提供短则几个月的客户历史交易明细,且单次查询时间段跨度不能超过一年;
一年前的交易数据以光盘库、磁带库等形式存放,导致查询效率低查询成本高。

 

解决方案

  • 采用Hubble分布式数据存储的方案,搭建高性能、可扩展的实时数仓。
  • 将过往存储在不同的介质上的结构化、半结构化和非结构化数据数据导入Hubble数据库的TP库,通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工,通过AP库为查询分析系统提供查询服务。
  • 通过优化+索引的数据字段定义格式存储,提升查询速度。
  • 流处理方式将在业务系统数据进行实时同步。
  • 定制开发可通过前端界面查询的分析系统,提升业务处理能力。
  • 提供全量数据在线备份,保证数据完整性。提供完整的数据入库流程检查,后续如果出现数据问题轻松查明产生原因。同时,为了应对银行的主备集群灾备策略,提供增量数据备份功能。

 

项目成果

  • 该项目实现了该银行全量积累的近40亿笔交易数据在线实时、异步长时间跨度的查询功能;
  • 实时查询交平均响应时在200毫秒左右,异步查询交易平均完成时间在1分钟左右;
  • 定制开发的查询分析系统,能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询;
  • 采用分布式架构,解决海量数据在线服务问题,稳定性提高至原来的300%、处理效率提高了1186%;
  • 本项目不仅实现了该银行业务目标,同时也助力该银行获得了同年度中国金融行业最佳创新项目奖。