历史数据在线查询系统案例

历史数据在线查询系统案例

 

项目意义

经过十余年的发展,银行等行业已经基本形成了客户历史交易数据查询体系,其核心业务系统通常只能提供短则几个月、多则一年左右的客户历史交易明细,单次查询时间段跨度最长为一年左右,这个时间范畴以前的客户历史交易数据多以光盘库、磁带库的形式存放,查询效率低且成本高。

在传统行业面临互联网金融挑战的今天,对客户需求响应的时效性非常关键,是面向客户转型的重要基础。目前跨越几年乃至更长时间的客户历史交易数据不完整,可能以结构化、半结构化和非结构化形式存储在不同的介质上,使用传统IT技术存在很多瓶颈和限制,客户要求查询历史明细时间跨度较长(如5-10年)或账户较多时工作量过大、服务相应时间过长,加之数据格式不统一,客户感受度较差,严重影响了客户体验。

基于大数据平台的历史数据在线查询系统是在广泛借鉴开源技术及互联网企业成熟案例的基础上,结合大数据处理的成功经验研发的,很好地解决了传统行业客户历史数据查询所遇到的问题,较之传统的基于关系型数据库的解决方案成本更低、稳定性更好、处理效率显著提高,并很好地解决了海量数据处理的性能瓶颈问题,系统具备分布式系统所特有的良好的可扩展性。

 

系统功能

➢ 全量数据存储——实现离线数据全量汇总入库,提供统一格式存储;
➢ 统一格式查询——形成统一的报文查询接口,支持多种格式报文查询;
➢ 模型化数据分析——针对特定业务场景,提炼分析模型,分析全量数据,输出分析结果。

 

业务价值

1、海量数据存储——数据范围是客户所有核心业务系统中所有历史交易数据的全在线存储;
2、长时间段查询——单次查询不再有不能跨年的限制;
3、统一客户体验——客户所有核心业务系统数据的统一存储、统一数据格式、统一客户体验;
4、多种查询方式——可单笔或批量查询等;
5、低延时的响应——针对百亿条记录、数千并发条件下,实现平均几十毫秒的查询响应速度。