手机上网(GPRS)业务在爆炸式增长,从2012年年初日均1.69亿条/天增加到年底日均2.3亿条/天,增加36.5%。而在GPRS数据业务迅猛发展的同时,上网记录查询也逐渐成为用户数据业务投诉的焦点,月均5千件,去年4月至12月因GPRS争议退费金额达到了624万元,且每月的退费笔数及金额呈上升趋势。前期已通过产品优化、提醒优化及分级退费机制和高额扣费预警外呼等服务措施进行了专项整治,但不能解决客户的质疑。
由于GPRS计费话单通过CG采集用户上网清单不包含无用户的上网的地址信息,技术上无法清晰的回复用户疑问的话单流量产生的来源,为了给客户提供满意的服务,重庆移动公司着手建设基于Gn设备的上网日志采集、分析、存储和查询系统。同时有效的分析用户的上网喜好并为公司的分析决策提供支撑。
基于大数据平台的上网日志系统是在广泛借鉴开源技术及互联网企业成熟案例的基础上,结合大数据处理的成功经验研发的,很好地解决了运营商用户上网日志数据查询所遇到的问题,较之传统的基于关系型数据库的解决方案成本更低、稳定性更好、处理效率显著提高,并很好地解决了海量数据处理的性能瓶颈问题,系统具备分布式系统所特有的良好的可扩展性。
GPRS用户上网日志每天原始日志量约1TB,根据业务需求,系统留存60天的日志数据。同时,为提高查询效率,要求系统即席并发查询最大返回时长小于500ms,系统支持的最大并发查询数不得低于2000次。
系统应用功能主要包括:
➢ 网站域名库管理;
➢ 用户上网特征分析;
➢ 无意识产生流量软件预警;
➢ 话单明细查询;
➢ 可视化展现;
➢ 经分系统轻度汇总;
➢ 认证和权限管理。
1、系统已于2012年12月完成在重庆移动CMNET上网日志的采集、存储和查询功能的部署,2013年2月完成CMWAP上网日志的部署,并在2013年1月开始试用,每日为一千多个用户提供移动用户上网日志的查询服务,日查询能力可以达到15000笔。单个用户查询数千条上网日志仅需要0.5秒,较传统BOSS详单查询系统平均单用户需要5秒的查询时间,平均查询速度提升了10倍,有效地强化前台的感知;
2、系统上线后有效地降低了用户投诉发生次数,并减少了因无法向用户清晰解释上网费用产生原因而造成的退费经济损失,在提高客户满意度的同时,每月至少可以减少这类退费40万元。随着使用范围的不断推广,预计每年能为公司挽回500万元的经济流失;
3、系统采用x86架构PC服务器和hadoop商业版大数据平台软件,节约系统建设成本800万元,同时每年节约数据库购买和维护费用60万元;
4、系统采用新的大数据技术不仅极大地降低了建设成本,提高了数据查询速度(较成熟的小机+数据库的技术解决方案查询速度提升了10倍),还兼具了平滑扩展的良好特性,后续扩容简单;
5、系统前台的查询服务通过SOA技术集成到现有的CRM系统,利用现有CRM的工号、权限、金库管理进行单点登录,前台使用的时候无需重新登录和输入服务号码,使用方便、快捷且安全,同时节约新系统的建设成本约20万元。