◈血缘关系图

SQL转化为数据的血缘关系工具 分为后端解析和前端展现2个部分。

后端使用方法：

后端解析采用java开发maven编译，提供的内容主要包括SQLLineage.jar和pom.xml。
pom.xml包含了项目依赖的第三方jar包信息，SQLLineage.jar作为本地依赖添加到项目中。
后端代码调用的方法如下：

// 工厂类创建血缘关系工具的实例 LineageSkeleton lineageInstance = LineageFactory.builder().lineageInstance();; /** * 需要分析的一组SQL * key 每条SQL的名字 * 如：insert into/overwrite target_table as select ... key的命名为target_table，这个表名可以作为其他SQL引用的数据表参与计算 * value SQL的具体内容， * 需要排出不包含血缘关系的SQL * 如：show tables , alter table target_table add column ... , insert into target_table values (...) 等 * SQL之间可以相互引用，但不能出现循环依赖关系 */ Map<String, String> sqls = new HashMap<>(); sqls.put("target_table", sql); sqls.put("root", "select .... from <target_table> a left join ... "); //分析所有SQL的关系图，每一个被引用的SQL都会成为关系图的中间节点，没有被引用的SQL都会成为Root节点， //关系图会做循环依赖检查，出现循环依赖会抛出异常信息 // 输出json格式数据提供给前端程序显示，json转换的方法可自己选择相应的工具类 String json = lineageInstance.analyse(sqls);

SpringBoot集成遇到的问题

由于springboot的org.springframework.boot.loader.JarLauncher实际上也破坏了双亲委派的机制，springboot的类加载可参看文档。 所以在springboot集成时可能会遇到NoClassDefFoundError，LinkageError等问题，这里可以使用如下方法，将LineageSkeleton接口的方法按照springboot的类加载机制进行了封装，失去了灵活性但避免很多因为类加载机制出现的问题。

LineageFactory factory = LineageFactory.builder(); /** * 对于使用了动态代理或自定义ClassLoader的使用场景的封装。 * <br>【封装了LineageSkeleton接口的analyse 和 lineageGraph这2个方法。】 * @param sqls 一条单独的sql, 例如：select ... from ... where ... * <br>或一组sql的json封装, 例如：{"tab1":"select ...", "tab2": "select ...", ...} * * @param root 用于指定数据血缘关系的根节点，对于一条单独sql，输入为空时默认“RESULT”。 * <br>对于一组sql必须是，这组sql其中一条的名称，如上面示例中的tab1。 * * @return 返回结果为数据血缘关系展示的json，默认会做循环依赖检查。 * * */ String json = factory.analyse(new Gson().toJson(sqls), root); // 输出json格式数据提供给前端程序显示，json转换的方法可自己选择相应的工具类，本例子提供的是Gson的方式

前端使用方法：

前端需要根据自己的需要集成。具体血缘关系展示的逻辑都集中在/pack/js/demo.js中，只需要修改var graph这个变量的值就可以绘制后端生成的血缘关系。

// 血缘关系图的json对象 demo.js var graph = {后端分析输出json格式数据}; $(document).ready(function(){ ... jsPlumb.ready(function () { var instance = window.jsp = jsPlumb.getInstance({ DragOptions: { cursor: 'pointer', zIndex: 2000 }, ConnectionOverlays: [ [ "PlainArrow", { location: 1, visible:true, width:9, length:12, id:"ARROW", events:{ click:function() { alert("you clicked on the arrow overlay")} } } ], [ "Label", { location: 0.6, visible:false, id: "label", cssClass: "aLabel", events:{ tap:function() { alert("hey"); } } }] ], Container: "canvas" }); ... });

LineageSkeleton的具体说明

public interface LineageSkeleton { /** * 分析一条SQL获取表关系的语法树，默认根结点RESULT，子查询作被分析未子节点，每个节点可以包含多个子查询节点，每个子查询只能有1个父节点。<br> * 支持select子句和union子句以及这些子句的相互嵌套:<br> * select子句采用 父节点名__T${n} 方式表示，如 RESULT__T1 为跟节点的第一个select子查询<br> * union子句采用 父节点名__U${n} 方式表示， RESULT是一个union语句，RESULT__U1 就是RESULT第一个union子句<br> * * @param sql 仅限制Select语句，包括INSERT OVERWRITE/INTO [TABLE] SELECT ... * @return String Json格式的血缘关系 * */ public String analyse(String sql) throws Exception ; /** * 分析一组SQL获取表关系的语法树，<br> * {@link com.lineage.service.LineageSkeleton#analyse(Map, Map, String)} * @return String Json格式的血缘关系 * */ public String analyse(Map<String, String> sqls) throws Exception ; /** * 分析一组SQL获取表关系的语法树，<br> * {@link com.lineage.service.LineageSkeleton#analyse(Map, Map, String)} * @return String Json格式的血缘关系 * */ public String analyse(Map<String, String> sqls, Map<String, Map<String, Column>> meta) throws Exception ; /** * 分析一组SQL获取表关系的语法树，并提供数据表的字段信息<br> * @param sqls 一组sql，每个sql都定义节点的名称，sql之前可以依赖和引用，但不能出现相互和循环引用关系 * @param meta 数据表字段信息 Map<br> * key 表名，SQL引用的数据表的名字<br> * value 字段和字段类型 * @param type 指定SQL的类型包括 hive spark mysql oracle sqlserver 默认spark * @return String Json格式的血缘关系 * */ public String analyse(Map<String, String> sqls, Map<String, Map<String, Column>> meta, String type) throws Exception ; }