产品简介

Hubble,自主研发的国产分布式HTAP数据库。具备超高并发、多源异构、全量SQL支持等功能特性,能同时支持金融级的在线交易和大规模数据的即席分析的场景,已在多家大型股份制银行落地应用,同时服务支撑证券、保险、能源、政府等众多领域。

Hubble使命

Hubble,人类天眼,位于地球的大气层之上的光学望远镜。运行期间捕捉到的照片从根本上改变了人类对宇宙的认知。

天云数据研发Hubble的初衷,融合传统数据库形成支持混合负载交易的数据联邦,让生态合作伙伴无缝切入大数据服务领域。

Hubble架构图

AP调度

实时获取当前任务的状态以及每台机器资源消耗,根据机器的状态做任务的分配和队列。

AP计算框架

在shardserver实现基于内存的快速计算框架,把AP的大数据梁的计算任务拆解成多个小任务,每个小任务精细化的控制数据处理。

列存

基于堆存存储技术,支撑海量数据按需快速访问。

TP调度

根据数据的分布,sharding机制等使任务在指定的机器上执行。

TP计算框架

尽量每个TP的任务有一个机器来处理,提高任务的吞吐量和并发量。

行存

基于raft数据一致性技术,实现基于表的独享空间和非独享空间,其中独享空间支持等值、范围、哈希的sharding方式。

产品特性

自主研发

  • 真正硬核“新基建”

 

完全分布式架构+数据自平衡机制

  • 一键完成在线线性横向扩展

 

OLTP+OLAP  双引擎驱动

  • 支撑交易事务与海量数据复杂计算的混合场

 

混合时钟+串行化最高事务一致性机制

  • 轻松应对金融级事务一致性严苛要求

 

AI-Native

  • 可自我优化的SQL解析器,让数据库聪明起来

 

数据级分片

  • 摆脱“分库分表”烦恼

 

多源异构,联邦计算

  • 省去数据搬迁,即席完成多数据源联合计算

 

可自定义的副本间数据同步技术

  • 打造多地多中心数据多活架构的不二之选

 

数据融合服务

  • 即时高并发个性化复杂分析场景(AP/TP融合)的得力保障

 

核心硬核技术

 

1.数据中心化的问题

  • a.数据中心化在查询涉及多关联场景时,会导致查询性能严重低下。
  • b.当大量数据存在于同一个数据库时会容易造成数据库访问瓶颈,从而影响数据访问性能,并为系统可用性埋下隐患。

 

2.为什么需要去中心化

  • a. 在云计算、大数据等新技术的带动下,越来越多的企业需要对结构化的数据进行查询、分析、处理和更新。
  • b. 随着创新业务的不断增加,业务的复杂及庞大的体量会产生错综复杂且规模巨大的结构化数据,这些都必然迫使企业对数据库的需求指向大规模、高可靠、高扩展及高性能。

 

3.Hubble去中心化技术

Hubble去中心化技术,实现在一个分布众多节点的系统中,每个节点都可以高度自治。去中心化过程就是将数据拆分的过程,让每个节点成为自己的领导者,进而依据服务划分将数据从主体数据剥离出来。

示例:中心化就是在餐厅柜台点餐,柜台是中心,所有人都需要排队点餐;去中心化是餐厅在每个桌子上都有一个独立的二维码,顾客通过扫码即可点餐。

 

4.Hubble硬核技术价值

  • a. 支撑高并发业务:应用入口可无限水平扩展,高效支撑高并发事务交易;
  • b. 减少运维成本:去中心化后所有的节点配置、硬件配置都是一样的,减少运维和硬件管理的复杂度;多个入口不会存在单点故障问题,减少了运维成本;
  • c. 提高查询效率:每个节点都可以提供入口和查询服务,大大提升了资源利用率。

生态体系

国产化兼容认证

 

软件生态

 

ETL工具

  • 企业或行业应用,经常会遇到各种数据的处理、转换、迁移即ETL处理、Hubble数据库可以转化Sqoop、Kettle、DataStage、Informatica、Talend等产品,并在库内进行转化。

数据同步工具

  • Hubble可以与Maxwell、OGG、DSG、CDC等业务系统同步实现实时数仓等业务场景,将大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

 

BI报表工具

  • Hubble数据库可以完美的支持业界常用的BI工具,提升分析性能,帮助企业对现有的数据进行有效的整合,快速准确的提供报表并提出业务经营决策。

实用工具

  • Hubble可以与DBeaver对接,实现图形化的SQl编写;与MADlib对接,实现SQL化的AI,与ADG对接,实现敏态数据治理。

数据生态

  • 与通用大数据生态组件kafka、HIVE、hadoop完美融合。

多源异构生态

  • Hubble利用联邦服务技术能力,实现异构数据库的统一管理,统一探查,统一服务,构建生态友好体系。