n-gram分析

这是一个分析原始文本语料库n-gram的工具。它可以用来分析文本文件的n-gram并生成找到的n-gram的报告。我使用这个工具获取双元组数据以优化键盘布局，在处理原始文本时，我使用以下命令从文本文件中去除所有标点符号和特殊字符：

sed 's/[^a-zA-Z ]//g' "text.txt" | tr 'A-Z' 'a-z' | sed -E 's/[[:space:]]+/ /g' >> text-clean.txt

示例数据

在 ./data 目录中有一些示例数据。您可以使用这些数据来测试工具。这是从 corpusdata.org 的维基百科语料库 中提取的小部分。