多语言分词器

泛型编程语言分词器

多语言分词器将代码转换为标记，将每个标记标记为标识符、行注释、块注释、符号、字符串字面量或数字。

许可证

许可协议为以下之一

• Apache 许可协议第 2 版 (LICENSE-APACHE 或 https://apache.ac.cn/licenses/LICENSE-2.0)
• MIT 许可协议 (LICENSE-MIT 或 http://opensource.org/licenses/MIT)

供您选择。

贡献

除非您明确声明，否则任何旨在包含在作品中的贡献（根据 Apache-2.0 许可证定义），都应按上述方式双许可，不附加任何额外的条款或条件。