产品介绍
BDP是天云数据自研国产大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助快速构建起稳定、高效的大数据集群服务。
BDP是天云数据自研国产大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助快速构建起稳定、高效的大数据集群服务。
极易部署,可在短时间内完成多节点的大数据集群部署;
国产化兼容,兼容ARM服务器和常用国产化操作系统;
监控指标全面丰富,基于生产实践展示用户最关心的监控指标;
灵活便捷的告警服务,可实现用户自定义告警组和告警指标;
可扩展性强,用户可通过配置的方式集成或升级大数据组件。
Kafka组件
支持Topic级别的监控,包括Topic输入、输出、拒绝的字节流量,每秒输入的消息条数等
Hive组件
支持亿级分区和百万级表的能力;支持基于Redis实现Hive元数据缓存,可通过减少Metastore数据库访问、利用内存高速读写特性,显著提升元数据读取性能。合理设计缓存对象、Key结构、失效策略,并通过Hook机制保障一致性。
Flink组件
完全支持流批一体架构。通过 Blink Planner 统一了批处理和流处理的执行引擎,所有作业使用相同的 Table API/SQL 语法编写,无需为不同场景维护多套代码。无论是处理历史数据(如每天的订单全量分析)还是实时数据流(如用户行为实时统计),均可在同一集群上高效运行,并共享 Kafka、HDFS 等批流统一的连接器。
Redis组件
支持通过服务配置认证鉴权,防止未认证的实例访问集群。
企业级多租户
通过创建多级租户,在不同租户间,隔离计算资源和存储资源。
管理节点高可靠性
支持数据节点的故障自动恢复,无需人工干预。
完善的自运维系统
提供图形化的集群健康巡检工具,能够检查集群相关节点、服务的健康状态,提前发现集群中潜在的问题,并生成健康检查报告,方便快速了解系统的健康状况。
支持滚动升级
支持业务不中断,一次升级少量节点,循环滚动,直至集群所有节点完成升级。