mmi-parser

mmi-parser 是一个用于从美国国立卫生研究院（NLM）的 MetaMap 工具 解析 Fielded MetaMap Indexing (MMI) 输出到 jsonlines 数据的 Rust 命令行工具（crate）。

Fielded MMI 输出的主要参考可以在 这里 找到。

! 由于 MMI 格式的变化，需要 MetaMap 2016 (或更高版本)！

• mmi-parser
  • 描述
    • 理由
  • 要求
  • 安装
  • 用法
    • MetaMap 简介概述
    • mmi-parser (命令行界面)
      • 输出类型
    • mmi-parser (API)
  • 支持
  • 贡献
  • MIT 许可证

描述

理由

由于运行 MetaMap 程序（本地需要熟悉命令行）的（相对）技术性质，假设用户也能够安装和使用其他命令行工具（例如 cargo）。

此项目使用 Rust 将 Fielded MMI 输出解析为 jsonlines 注释数据。虽然结构并不完全不同，但选择 MMI 作为输入和 jsonlines 作为输出有以下原因。

MMI 是 MetaMap 输出中压缩密度最高的可读版本，因此将其用作解析器的输入是有逻辑的。

MMI 输出通常将每个通过 MetaMap 运行的记录放入单独的 .txt 文件中。MMI 输出还包含每个找到的概念的一行。Jsonlines 允许我们保持这种 1:1 的比率。每个输入 .txt 文件将有一个 恰好一个 jsonlines 输出文件，文件名后缀为 _parsed 以明确它是解析输出。Jsonlines 还具有保持原始 MMI 输出具有的 1:1（概念:行）比率的额外好处。因此，每个 jsonline 都可以追溯到源（MMI 输出）文本文件中的一行。这有助于跟踪结果。与传统的 json 相比，Jsonlines 还允许文件缓冲区读取，这在扫描大文件时可能是有益的。最后，虽然 MMI 已经具有与文本的各个部分相关联的字段，但 jsonlines 使这些 隐式 关联在字段名中变得 明确。

例如

• data/sample.txt --> data/sample_parsed.jsonl 其中 data/sample_parsed.jsonl 的第一行将代表源文本文档中找到的第一个（或根据 MetaMap 的结果可能是最后一个）结构，但 始终 与 data/sample.txt 的第一行相匹配。

值得注意的是，某些 MetaMap 管道会生成包含标题行的 .txt 文件，表示文件何时被写入。请在运行此工具之前删除这些行。

如果您需要替代输出，可能用于非技术研究人员，我建议查看 jq。

要求

• cargo 包管理器（Rust 工具链的一部分）
• just（如果克隆此存储库，则为可选的开发依赖项）

安装

Cargo 作为 Rust 工具链的一部分提供，可以通过 curl + sh 组合轻松获得（见 此处）。

要安装 mmi-parser 应用程序，请使用 cargo

cargo install mmi-parser

如果您还需要安装 MetaMap，您可以在 这里 找到相应的说明。

在 crates.io 上也提供了一个 API 这里。该 API 的范围有限，以减轻维护负担，因为该项目的主要目标是可执行解析器。

您可以通过将包添加到您的 Cargo.toml 来在本地 Rust 项目中安装 API。

mmi-parser = "1.1.0"

用法

MetaMap 简介概述

MetaMap 的用法在 NLM 的网站上得到了广泛记录，或更直接地在本文档中 此处。

对于我们的用例，我们将假设您使用了一个类似以下功能的命令

echo lung cancer | metamap -N > metamap_results.txt

此处 -N 标志很重要，因为它指示 MetaMap 使用 MMI 输出。

这将导致以下类似的输出

/home/nanthony/public_mm/bin/SKRrun.20 /home/nanthony/public_mm/bin/metamap20.BINARY.Linux --lexicon db -Z 2020AA -N
USER|MMI|5.18|Carcinoma of lung|C0684249|[neop]|["LUNG CANCER"-tx-1-"lung cancer"-noun-0]|TX|0/11|
USER|MMI|5.18|Malignant neoplasm of lung|C0242379|[neop]|["Lung Cancer"-tx-1-"lung cancer"-noun-0]|TX|0/11|
USER|MMI|5.18|Primary malignant neoplasm of lung|C1306460|[neop]|["Lung cancer"-tx-1-"lung cancer"-noun-0]|TX|0/1

如您所见，输出以我的 metamap 安装程序的日志行开头。在运行 mmi-parser 之前必须删除此行。

换句话说，我们期望 metamap_results.txt 包含

USER|MMI|5.18|Carcinoma of lung|C0684249|[neop]|["LUNG CANCER"-tx-1-"lung cancer"-noun-0]|TX|0/11|
USER|MMI|5.18|Malignant neoplasm of lung|C0242379|[neop]|["Lung Cancer"-tx-1-"lung cancer"-noun-0]|TX|0/11|
USER|MMI|5.18|Primary malignant neoplasm of lung|C1306460|[neop]|["Lung cancer"-tx-1-"lung cancer"-noun-0]|TX|0/11|

您可以通过将 MetaMap 的输出重定向到这个工具来尝试解决这个问题，但这超出了我们的用例范围。

我建议使用 sed。虽然它不是 最高效的选择，但其使用方法很简单。只需

sed -i '1d' <target folder>/*.txt

sed -i '' 删除第一行即可。

cargo run --example parse_aa

cargo run --example parse_mmi

mmi-parser data > errors.log