需求背景

随着互联网时代的到来，人们足不出户用手机就可以在手机银行中办理各种业务，便捷的网上交易使得银行系统中积累的数据量越来越大，为了保证核心数据存储系统能正常工作，该银行无法实时查询交易五年以上的历史数据，需要预约等待查询。如遇到公安办案、监管部门查交易明细等紧急重要的情况下，无法满足实时查询的需求，会出现影响办案的时效性等问题，历史数据查询难度日益增加。

银行数据存贮现状

银行核心系统可能发生过变更，所以数据格式可能不统一

现有解决方案

天云数据解决方案

天云数据历史数据查询系统是一个支持高并发、全渠道、多维度的7*24小时实时历史数据查询系统。拥有自主设计的独立底层Hubble数据库，所有数据单独存储，安全高效且具有海量数据存储能力，可以极大地提高历史数据查询效率，高效完成日常业务，推动银行等金融企业走向历史数据规范化、国产化的管理。

实践案例

某股份制商业银行全量数据存储查询分析案例

项目背景

• 该银行成立于1992年，是经国务院批复并经中国人民银行批准设立的全国性股份制商业银行，已在境内设立分支机构 1252 家，机构网点辐射全国136个经济中心城市；
• 目前，该银行已经汇集了近30年的历史数据，但是核心业务系统只能提供短则几个月的客户历史交易明细，且单次查询时间段跨度不能超过一年；
• 一年前的交易数据以光盘库、磁带库等形式存放，导致查询效率低查询成本高。

解决方案

• 采用Hubble分布式数据存储的方案，搭建高性能、可扩展的实时数仓。
• 将过往存储在不同的介质上的历史数据数据导入Hubble数据库，通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工，提供在线查询服务。
• 通过优化+索引的数据字段定义格式存储，提升查询速度。
• 定制开发可通过前端界面查询的分析系统，提升业务处理能力。
• 提供全量数据在线备份，保证数据完整性。提供完整的数据入库流程检查，后续如果出现数据问题轻松查明产生原因。同时，为了应对银行的主备集群灾备策略，提供增量数据备份功能。

项目结果

• 近400亿笔交易数据、千亿级内部帐在线实时、异步长时间跨度的查询功能；
• 定制开发十余种大批量查询分析系统；
• 助力该银行获得了同年度中国金融行业最佳创新项目奖。