首页手记大数据元数据血缘关系

大数据元数据血缘关系

标签：

Java 大数据

数据中台，数据仓库在大数据的发展中占着重要的占比，二者两者都离不开血缘关系的构建，解析SQL构建血缘关系

SQL的解析可以分为三个步骤：

【一】获取最外层表的个数（判断是否是Union关系）

我们可以借助工具查询最外层表的个数，一般的来源都是一个或多个，如果是Union关系，那么就是0个，这样来处理Union的关系

TJoinList joins = stmt.getJoins();
if (joins.size() >= 1) {
    // TODO 处理非Union的逻辑关系

} else {
    // Union的逻辑可以拆分为 left和right
    TSelectSqlStatement leftStmt = stmt.getLeftStmt();
    if (Func.notNull(leftStmt)) {
        parseStatement(leftStmt, null, pojoList, targetTable);
    }

    TSelectSqlStatement rightStmt = stmt.getRightStmt();
    if (Func.notNull(rightStmt)) {
        parseStatement(rightStmt, null, pojoList, targetTable);
    }
}

【二】判断该SQL是否包含子查询（临时表）

如果最外层的SQL包子查询（临时表），那么就需要把子查询视为一个整体，先构建目标表到临时表之间的血缘关系。
借助工具，我们可以判断表类型，如果表类型是subquery，那么可以明确知道是子查询，那么就可以将其视为一个新的表，递归处理

if (table.getTableType() == ETableSource.subquery) {
   TSelectSqlStatement statement = table.getSubquery();
   if (Func.notNull(statement)) {
       parseStatement(statement, null, pojoList, table.getAliasName());
   }
}

【三】接下来就可以把表的查询字段进行解析

借助工具我们可以获取到所查询（操作）的字段，字段的那些大致分为三类，普通字段（可以直接使用） ，case when语句，Hive函数

switch (ExpressionType) {
    case case_t:
        // TODO case when查理
        break;
    case function_t:
        // TODO 函数处理，cast比较特殊
        break;
    case arithmetic_plus_t:
    case parenthesis_t:
    case arithmetic_modulo_t:
    case logical_and_t:
    case arithmetic_times_t:
    case arithmetic_divide_t:
    case simple_comparison_t:
    case array_access_expr_t:
        // TODO 以上存在多对一 ， 那么需要把两个字段分开，分别获取 每个字段的信息
        break;
    case simple_object_name_t:
        // TODO 直接获取字段的信息
        break;
    default:
        break;
}

End 我们只需要将获取的字段信息记录到MySQL中，那么使用递归查询，即可构建血缘的关系

附上血缘图Json

    {
        "edges": [
            {
                "from": {
                    "column": "name",
                    "tbName": "data2"

                },
                "to": {
                    "column": "name",
                    "tbName": "middle1"
                }

            },
            {
            ...
            }
        ],
        "nodes": [
        	{
                "id": "data1",
                "name": "data1",
                "type": "Origin",
                "columns": [{
                    "name": "age"
                }, {
                    "name": "name"
                }, {
                    "name": "class"
                }],
                "top": 135,
                "left": 10
            },{
            	...
            }
        ]
    }