#highlighter #lexer #code #op8d

op8d_lexemizer

将代码转换为词元向量的有观点库

2个版本

0.1.1 2021年4月10日
0.1.0 2021年4月2日

编程语言中排名第516

MIT许可证

115KB
2K SLoC

op8d_lexemizer

将代码转换为词元向量的有观点Rust库。

目前仅支持Rust版本2018。

  • 构建文档:rm -rf target/doc; cargo doc
  • 阅读文档:open target/doc/op8d_lexemizer/index.html
  • 运行测试:cargo test | sed 's/\\n/\n/g; s/: `"/: `"\n/g'
  • 如果新代码被忽略,则删除cargo的缓存:cargo clean
  • 尝试示例:cargo run --example lexemize-rs2018-arg -- "const FOUR: u8 = 4;"

lib.rs:

将代码转换为词元向量的有观点库。

无运行时依赖