TF-IDF摘要器

tfidf-summarizer 是一个用于计算文档集的Term Frequency-Inverse Document Frequency (TF-IDF) 向量的Rust crate。这个统计度量用于评估一个词在集合或语料库中的文档中有多重要。

功能

• 文本数据的分词。
• 计算每个文档中单词的词频 (TF)。
• 计算所有文档中单词的文档频率 (DF)。
• 计算所有文档的逆文档频率 (IDF)。
• 计算每个文档中单词的TF-IDF分数。

安装

将此添加到您的 Cargo.toml

[dependencies]
tfidf-summarizer = "0.1.0"