Lib.rs

› 压缩
#corpus #txt #version #text #set #processing #oscar

bin+lib oscar-tools

处理OSCAR语料库的工具

作者： Julien "uj" Abadji

2 个不稳定版本

0.4.0 2023年8月31日
0.3.0 2023年8月30日

#628 在 压缩

Apache-2.0

115KB
2.5K SLoC

OSCAR-tools

这是一套用于在OSCAR语料库上执行常见任务的新工具

程序针对每个语料库版本有不同的工具集

  • v1：类似于OSCAR 2019，仅文本（.txt文件）
  • v2：类似于OSCAR 22.01，JSONLines，面向文档的，带有注释和行级标识

依赖项

~18–30MB
~446K SLoC