Lib.rs

› 编程语言 › treeedb
#datalog #java #souffle #编程语言 #解析器

app treeedbgen-souffle-souffle

从 Soufflé 树-sitter 语法生成 Soufflé 类型和关系

由 Langston Barrett 编写

1 个不稳定版本

0.1.0-rc.52022年10月29日

在 编程语言 中排名第 748

MIT 许可证

34KB
293 行

treeedb

treeedb 使编写 Soufflé Datalog 中的源级程序分析变得容易。首先，treeedb 生成代表程序 AST 的 Soufflé 类型和关系。然后，treeedb 解析源代码并发出填充那些关系的规则。

treeedb 目前支持以下语言的分析

  • C
  • C#
  • Java
  • JavaScript
  • Rust
  • Soufflé
  • Swift

treeedb 的解析器和 AST 基于树-sitter 语法，并且很容易 添加对任何具有 tree-sitter 语法的语言 的支持。

treeedb 这个名字是 "tree-sitter" 和 "EDB" 的组合，其中 EDB 代表 "扩展数据库"，指的是 Datalog 程序中的事实集。

安装

您需要为要分析的每种编程语言提供两个工件

  1. 一个 Soufflé 文件，其中包含定义 AST 的类型和关系
  2. 解析该语言并发出事实的可执行文件

例如，对于 Java，这些分别称为 treeedb-java.dl 和 treeedb-java。

要实际分析一些代码，您还需要 安装 Soufflé。

从发布版本安装

转到 发布页面 上的最新版本，并下载与您要分析的语言相关的工件。预构建的可执行文件是静态链接的，但目前仅适用于 Linux。

从 crates.io 构建

您可以从 crates.io 构建发布版本。您需要 Rust 编译器和 Cargo 构建工具。 rustup 可以非常容易地获取这些。然后，要安装语言 <LANG> 的工具，运行

cargo install treeedb-<LANG> treeedbgen-souffle-<LANG>

这将安装二进制文件到~/.cargo/bin。要生成 Datalog 文件，请运行treeedbgen--souffle--<LANG>二进制文件。

从源码构建

要从源码构建，您需要 Rust 编译器和 Cargo 构建工具。使用 rustup 可以轻松获取这些工具。

然后，获取源码

git clone https://github.com/langston-barrett/treeedb
cd treeedb

最后，构建一切

cargo build --release

您可以在 target/release 中找到 treeedb-<LANG> 二进制文件。要生成 Datalog 文件，请运行相应的 treeedbgen--souffle--<LANG> 二进制文件。

示例：分析 Java 代码

要跟随这个示例，请按照 Java 的安装说明 进行操作。然后，创建一个名为 Main.java 的 Java 文件

class Main {
    public static void main(String[] args) {
        int x = 2 + 2;
    }
}

(本节中显示的文件也位于 examples/java/ 中)

创建一个名为 const-binop.dl 的 Datalog 文件，其中包含 treeedb-java.dl，并包含一个用于查找常量值二元表达式的规则

#include "treeedb-java.dl"

.decl const_binop(expr: JavaBinaryExpression)

const_binop(expr) :-
  java_binary_expression(expr),
  java_binary_expression_left_f(expr, l),
  java_binary_expression_right_f(expr, r),
  java_decimal_integer_literal(l),
  java_decimal_integer_literal(r).

.decl show_const_binop(text: JavaNodeText)

show_const_binop(text) :-
  const_binop(expr),
  java_node_text(expr, text).

.output const_binop(IO=stdout)
.output show_const_binop(IO=stdout)

生成输入文件（node.csv 和 field.csv）

treeedb-java Main.java

最后，使用 Soufflé 运行分析

souffle const-binop.dl

您将看到类似以下的内容

---------------
const_binop
===============
94001952741472
===============
---------------
show_const_binop
===============
2 + 2
===============

深入研究

要查看可用的类型和关系名称，请查看 treeedb-<LANGUAGE>.dl。如果不确定给定的类型或关系对应于语言的哪个部分，请查看 tree-sitter 语法（例如，Java 语法中的 grammar.js）。

动机和与其他工具的比较

在用 Datalog 编写程序分析之前，您需要弄清楚（1）如何将程序表示为关系，以及（2）如何将程序摄入到该表示中。最先进的 Datalog 项目都是“手动”完成这些任务的

编写这些表示和摄入工具需要耗费宝贵的时间，并会分散编写分析的工作。treeedb 的目标是通过自动化来解决这个问题，与这些工具处于相同的细分市场。

存储库结构

贡献

感谢您对 treeedb 的兴趣！我们欢迎并感谢所有类型的贡献。请随时提交问题或打开拉取请求。

添加语言

如《安装》部分所述，支持每种编程语言的分 析涉及两个工具：一个用于生成 Soufflé 类型和关系（例如，treeedbgen-souffle-c），另一个用于解析正在分析的语 言并输出事实（例如，treeedb-c）。

添加新语言

  • 创建与现有目录结构相同的新目录 treeedb-<LANG> 和 treeedbgen-souffle-<LANG>（可能最简单的方法是递归复制现有的目录）。
  • 将新目录添加到顶级 Cargo.toml。
  • 通过复制并修改其他语言的现有行，将语言添加到 .github/workflows/release.yml。

有关完整示例，请参阅 PR #9。

脚本 ./scripts/add-language.sh 自动化了这些步骤中的一 些，但它并不一定是完整的解决方案。使用示例

bash scripts/add-language.sh python Python

依赖项

~5–7MB
~143K SLoC