当前位置：首页 > news >正文

Apache Calcite - 将Sql转换为关系表达式

news 2025/5/24 0:43:04

将Sql转换为关系表达式

上篇文章介绍了手工构造的方式创建关系表达式，也介绍了关系表达式的作用，这次将介绍如何通过Calcite提供的工具将Sql转换为关系表达式

Sql转换为关系表达式可以总结为如下的步骤

设置内存数据库连接
创建自定义Schema
添加表到自定义Schema
配置SQL解析器
配置框架
创建Planner实例
解析SQL
验证SQL
转换为关系表达式
获取RelNode

样例代码如下：

public class SqlToRelNode {/*** 创建配置的时候应该建什么配置* Sql转关系代数表达式*/@Testpublic void testSqlToRelNode() throws Exception{// 1. 设置内存数据库连接Properties info = new Properties();Connection connection = DriverManager.getConnection("jdbc:calcite:", info);CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);// 2. 创建自定义SchemaSchemaPlus rootSchema = calciteConnection.getRootSchema();Schema schema = new AbstractSchema() {};rootSchema.add("MY_SCHEMA", schema);// 3. 添加表到自定义SchemaTable yourTable = new AbstractTable() {@Overridepublic RelDataType getRowType(RelDataTypeFactory typeFactory) {// 如果要动态分析表，那么就自己去创建return typeFactory.builder().add("id", typeFactory.createJavaType(int.class)).add("name", typeFactory.createJavaType(String.class)).build();}};rootSchema.getSubSchema("MY_SCHEMA").add("your_table", yourTable);// 4. 配置SQL解析器SqlParser.Config parserConfig = SqlParser.config().withLex(Lex.MYSQL).withConformance(SqlConformanceEnum.MYSQL_5);// 5. 配置框架FrameworkConfig config = Frameworks.newConfigBuilder().parserConfig(parserConfig).defaultSchema(rootSchema.getSubSchema("MY_SCHEMA")) // 使用自定义Schema.build();// 6. 创建Planner实例Planner planner = Frameworks.getPlanner(config);// 7. 解析SQLString sql = "SELECT * FROM your_table";SqlNode sqlNode = planner.parse(sql);// 8. 验证SQLSqlNode validatedSqlNode = planner.validate(sqlNode);// 9. 转换为关系表达式RelRoot relRoot = planner.rel(validatedSqlNode);// 10. 获取RelNodeRelNode rootRelNode = relRoot.rel;// 打印RelNode的信息System.out.println(rootRelNode.explain());// 关闭连接connection.close();}
}

输出结果

LogicalProject(id=[$0], name=[$1])LogicalFilter(condition=[=(CAST($0):INTEGER NOT NULL, 1)])LogicalTableScan(table=[[MY_SCHEMA, your_table]])

创建自定义Schema

我们为了进行转换创建了自定义Schema，用过Sql解析都知道Sql解析时不需要Schema，而验证转换为关系表达式时需要schema。解析是将SQL字符串转换为抽象语法树（AST）的过程，这个过程只需要了解SQL的语法规则，不需要知道具体的表和字段。解析的结果是一个 SqlNode 对象，它表示SQL语句的结构。

解析器根据SQL语法规则将SQL字符串解析成SqlNode。这个过程只涉及语法分析，不涉及具体的表和字段，因此不需要Schema信息。

转换为关系表达式是将SqlNode 转换为关系表达式（RelNode）的过程，这个过程也依赖于Schema信息，因为关系表达式需要具体的表和字段信息来生成正确的执行计划。
在依赖RelNod执行优化时需要知道类型，例如根据索引选择查询优化，投影与计算合并。

为了实现通用化的方案需要读取元信息来自动创建schema

Planner

我们使用了Planner实例来将sql转换为关系表达式

在Apache Calcite中，org.apache.calcite.tools.Planner 是一个核心组件，用于处理SQL查询的解析、验证、优化和转换。它提供了一系列的高层次API，简化了从SQL到关系表达式（RelNode）的转换过程。

在Apache Calcite中，org.apache.calcite.tools.Planner 是一个核心组件，用于处理SQL查询的解析、验证、优化和转换。它提供了一系列的高层次API，简化了从SQL到关系表达式（RelNode）的转换过程。以下是 Planner 的核心作用和功能：

SQL解析,在这一步，Planner 使用配置的SQL解析器（SqlParser）将SQL文本解析为一个 SqlNode 对象。
Planner 的第一个核心作用是将SQL字符串解析为一个抽象语法树（AST）。这个过程包括将SQL文本解析成Calcite的内部表示形式（SqlNode）。

SqlNode sqlNode = planner.parse(sql);

SQL验证,解析后的SQL语句需要进行验证，以确保语法和语义的正确性。Planner 的验证功能会检查SQL语句的合法性，包括表和列是否存在、数据类型是否匹配等。

SqlNode validatedSqlNode = planner.validate(sqlNode);

在验证过程中，Planner 会检查SQL语句中的表、列、函数等是否存在，并且类型是否匹配。如果发现问题，会抛出相应的异常。

转换为关系表达式
经过验证的SQL语句需要转换为关系表达式（RelNode）。关系表达式是Calcite内部用于表示查询计划的中间形式。Planner 提供了将 SqlNode 转换为 RelNode 的功能。

RelRoot relRoot = planner.rel(validatedSqlNode);
RelNode rootRelNode = relRoot.rel;

Planner 解析SQL

Planner 是一个高层次的组件，负责整个SQL处理流程，包括解析、验证、优化和生成关系表达式。它封装了多个步骤，简化了从SQL到执行计划的转换过程。

高层次封装：Planner 封装了SQL解析、验证、优化和转换为关系表达式的全过程。
集成多个组件：Planner 集成了 Parser、Validator、RelBuilder 等组件，提供了一站式的SQL处理接口。
简化流程：通过 Planner，用户可以一次性完成从SQL解析到生成执行计划的所有步骤。
而SqlParser仅负责SQL解析，将SQL字符串转换为 SqlNode。