SQL

天云大数据的SQL引擎提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分。SQL引擎可以对hive、spark等不支持的SQL进行转换,增强SQL支持。

天云大数据的SQL引擎提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分。SQL引擎可以对hive、spark等不支持的SQL进行转换,增强SQL支持。对外提供JDBC等多种接口,已有业务可以方便的迁移。提供了元数据支持抽象视图层。是一个介于业务与底层服务之间的JDBC服务中间件。天云大数据SQL引擎支持TPC-DS所有的99个SQL。

运用了hive的元数据存储,为加入到SQL引擎的数据服务,提供抽象视图,用户通过统一的入口可以看到所有的数据定义。通过SQL执行查询和分析,在数据服务层提供插件支持,扩张多种底层数据服务。

总体架构图

NLP引擎

功能特性详述

➢ 元数据层为数据存储提供抽象视图层;
➢ 可以使用SQL 的来查询和分析存放在不同数据服务中的数据;
➢ 提供JDBC 驱动和JAVA客户端等多种接口;
➢ SQL引擎是一个 REST 服务允许用户查询数据,更改数据模型,调度查询;
➢ 易于扩张的插件接口,可以方便的扩张多种存储。

提供JDBC接口,大量已有业务可以在少改动的情况下就可以方便的迁移。提供插件扩张方便的扩张,用户可以根据的需要写少量的代码就可以加入新的数据服务。对底层多个数据服务提供统一视图,方便多个数据服务的统一管理。

SQL引擎是在HDFS、hbase等数据服务至上,所以SQL引擎支持TB、PB级的数据。SQL引擎是一个中间件当hive、spark等升级时上层几乎不用改动就可以顺利升级。已有的分析业务服务几乎不用改动就可以方便的迁移。