• Hadoop管理中间件信创平台
    BDP是天云数据自研国产大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助快速构建起稳定、高效的大数据集群服务。

 

Kafka组件

支持Topic级别的监控,包括Topic输入、输出、拒绝的字节流量,每秒输入的消息条数等  

 

 

Hive组件

支持亿级分区和百万级表的能力;支持基于Redis实现Hive元数据缓存,可通过减少Metastore数据库访问、利用内存高速读写特性,显著提升元数据读取性能。合理设计缓存对象、Key结构、失效策略,并通过Hook机制保障一致性。  

 

 

Flink组件

完全支持流批一体架构。通过 Blink Planner 统一了批处理和流处理的执行引擎,所有作业使用相同的 Table API/SQL 语法编写,无需为不同场景维护多套代码。无论是处理历史数据(如每天的订单全量分析)还是实时数据流(如用户行为实时统计),均可在同一集群上高效运行,并共享 Kafka、HDFS 等批流统一的连接器。  

 

 

Redis组件

支持通过服务配置认证鉴权,防止未认证的实例访问集群。  

 

 

基础服务能力

企业级多租户

通过创建多级租户,在不同租户间,隔离计算资源和存储资源。  

 

管理节点高可靠性

支持数据节点的故障自动恢复,无需人工干预。  

 

完善的自运维系统

提供图形化的集群健康巡检工具,能够检查集群相关节点、服务的健康状态,提前发现集群中潜在的问题,并生成健康检查报告,方便快速了解系统的健康状况。  

 

支持滚动升级

支持业务不中断,一次升级少量节点,循环滚动,直至集群所有节点完成升级。