需求背景

随着互联网时代的到来,人们足不出户用手机就可以在手机银行中办理各种业务,便捷的网上交易使得银行系统中积累的数据量越来越大,为了保证核心数据存储系统能正常工作,该银行无法实时查询交易五年以上的历史数据,需要预约等待查询。如遇到公安办案、监管部门查交易明细等紧急重要的情况下,无法满足实时查询的需求,会出现影响办案的时效性等问题,历史数据查询难度日益增加。

银行数据存贮现状

银行核心系统可能发生过变更,所以数据格式可能不统一

银行数据服务现状

银行目前未提供“历史数据查询”在线服务,核心是以下两个原因:

IT系统技术瓶颈

  • IOE架构下,核心系统做大规模历史数据存取,会直线拉低性能,影响业务办理;
  • 做了批处理的系统,无法支撑大规模并发需求和查询服务的实时响应;
  • 通过HBase+es等实现的一些场景,在大数据规模下,成本高昂且无法支撑并发;
  • 批处理的系统,无法直接对接柜面系统、网银、手机APP、微信等常用电子渠道。

成本

  • 目前银行核心系统多使用Oracle、DB2等国外软硬件产品,系统运营维护成本就很高;
  • 若提供全量历史数据查询,成本不可小觑。

现有解决方案

天云数据解决方案

天云数据历史数据查询系统是一个支持高并发、全渠道、多维度的7*24小时实时历史数据查询系统。拥有自主设计的独立底层Hubble数据库,所有数据单独存储,安全高效且具有海量数据存储能力,可以极大地提高历史数据查询效率,高效完成日常业务,推动银行等金融企业走向历史数据规范化、国产化的管理。

 

方案价值和效果

 

方案价值

可实现查询效果

方案优势

 

成熟的客户案例,光大银行从2013年开始对接柜台,目前已经对接包括手机APP、网银、微信等多个终端,平稳运行多年。

在金融行业中有众多案例,非常了解金融行业业务场景。

专注技术研发,所获专利、软著百余项

发明专利

  • 一种基于VLAD双重自适应的图像检索方法
  • 一种基于新闻文本的话题提取方法
  • 一种金融文本情感分析方法
  • 基于机器学习的灌溉方法和装置
  • ......

数据库和人工智能产品均完成主流国产芯片及操作系统兼容性互认证

强大的服务团队

支撑支持 7 * 24小时服务

实践案例

某股份制商业银行全量数据存储查询分析案例

项目背景

  • 该银行成立于1992年,是经国务院批复并经中国人民银行批准设立的全国性股份制商业银行,已在境内设立分支机构 1252 家,机构网点辐射全国136个经济中心城市;
  • 目前,该银行已经汇集了近30年的历史数据,但是核心业务系统只能提供短则几个月的客户历史交易明细,且单次查询时间段跨度不能超过一年;
  • 一年前的交易数据以光盘库、磁带库等形式存放,导致查询效率低查询成本高。

 

解决方案

  • 采用Hubble分布式数据存储的方案,搭建高性能、可扩展的实时数仓。
  • 将过往存储在不同的介质上的历史数据数据导入Hubble数据库,通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工,提供在线查询服务。
  • 通过优化+索引的数据字段定义格式存储,提升查询速度。
  • 定制开发可通过前端界面查询的分析系统,提升业务处理能力。
  • 提供全量数据在线备份,保证数据完整性。提供完整的数据入库流程检查,后续如果出现数据问题轻松查明产生原因。同时,为了应对银行的主备集群灾备策略,提供增量数据备份功能。

 

项目结果

  • 400亿笔交易数据、千亿级内部帐在线实时、异步长时间跨度的查询功能
  • 定制开发十余种大批量查询分析系统;
  • 助力该银行获得了同年度中国金融行业最佳创新项目奖。

 

实时查询交易200ms

实时查询交易平均响应时在200毫秒左右

异步查询交易1分钟

异步查询交易平均完成时间在1分钟左右

稳定性提高300%

处理效率提高1186%