wikimedia 包（包括 wmd CLI 工具）

开源的 Rust 库和工具，用于下载和查看来自 维基媒体基金会 的数据，维基媒体基金会是维基百科和其他项目的非营利组织。

在 wikimedia-rs 源代码仓库 中有 3 个相关的包

• wikimedia：下载并解析维基媒体数据的库。
  包 | 文档
• wikimedia-store：用于存储 MediaWiki 页面的库，支持从维基媒体存档文件中进行搜索和导入。
  包 | 文档
• wikimedia-download：用于从维基媒体下载数据并通过 Web 界面查看的 CLI 工具 wmd。
  包

安装

安装 Rust 工具链。 rustup 是进行此操作的标准工具。

这些包主要在 Linux 上开发和测试。偶尔在 macOS 上进行测试。 bin/ 中的实用脚本是用 bash 编写的，所有进一步的说明都将假设您正在运行基于 Unix 的机器。

选择的依赖项是跨平台的，因此希望在 Windows 机器上也能工作，但这尚未经过测试。如果您想在 Windows 上运行，请尝试使用 WSL 或 Cygwin。如果您想添加支持，欢迎提交拉取请求！

运行此命令使用 Rust 的包管理器 cargo 构建 和 安装 wmd

RUSTFLAGS="--cfg tracing_unstable" cargo +nightly install wikimedia-download

默认情况下，这将安装 wmd 到 ~/.cargo/bin/wmd，请确保它在您的 shell 路径上。

查看下载的页面需要 pandoc 在您的可执行路径中，以将 MediaWiki Wikitext 标记转换为 HTML。请参阅他们的 发布下载页面，以及他们的 安装说明页面。

快速入门

要显示 wmd 子命令的帮助说明

# Help for `wmd` and its list of subcommands
wmd help

# Help for the subcommand `download` use one of these:
wmd help download
wmd download --help

要下载英文维基百科上所有文章的最新版本的文本（截至 2023-03-20 大约需要下载 20 GB）

export WMD_MIRROR_URL=https://ftp.acc.umu.se/mirror/wikimedia.org/dumps

wmd download  --dump enwiki \
              --version latest \
              --job articlesdump

示例下载完成消息

Downloading job files complete
|   download_dir = /home/alex/wm/out/dumps/enwiki/20230320/articlesdump
|   dump         = enwiki
|   version      = 20230320
|   job          = articlesdump

默认情况下，文件将下载到

• ~/.local/share/wmd（Linux）
• ~/Library/Application Support/wmd（macOS）
• C:\Users\%USERNAME%\AppData\Local\wmd（Windows）

这可以通过环境变量 WMD_OUT_DIR 或 CLI 参数 --out-dir 来覆盖；有关更多信息，请参阅 wmd help download。

如果某些文件已经下载，则会验证它们的校验和。如果校验和正确，则不会再次下载。

维基媒体主要数据转储下载服务器 限制了网络连接数和下载速率，因此建议选择一个镜像进行下载。官方镜像列表在以下页面中列出：1 2。上面脚本中的示例是我用来测试 wmd 的；它位于瑞典，地理位置上靠近我。

为了轻松检索它们，必须将它们导入 wmd 的存储中

wmd import-dump   --dump enwiki \
                  --version 20230320 \
                  --job articlesdump

使用您之前下载的相同转储和作业，以及 wmd download 报告的版本。导入所有英文维基百科文章的最新版本将占用大约 80 GB 的磁盘存储空间。这比下载大小大，因为存储当前未压缩，但计划进行压缩。

导入命令完成后，您可以在网页界面中查看下载的页面

wmd web

示例输出

  2023-04-02T22:25:08.86645692Z  INFO wmd::commands::web: Listening on http, url: http://localhost:8089/
    at crates/wikimedia-download/src/commands/web.rs:89 on ThreadId(1)

访问日志消息中的 URL：https://127.0.0.1:8089。

将环境变量 RUST_LOG 设置为配置日志级别和过滤。此应用程序使用 tracing-subscriber 包进行日志记录，有关可用的日志配置指令的文档，请参阅 他们的文档。请注意，许多指令可以由逗号分隔提供。

Shell 完成设置

当前支持的 Shell 有：bash、elvish、fish、powershell 和 zsh。

使用 wmd completion 将您的 Shell 完成文件保存，例如对于 zsh

wmd completion --shell zsh > completion.zsh

然后按照您的 Shell 的说明加载文件。

wmd 的参数解析使用 clap 包 实现，shell 完成文件使用 clap_complete 包 生成。

开发说明

• 使用 git 克隆源代码
  git clone https://github.com/fluffysquirrels/wikimedia-rs.git
• 使用脚本 bin/build 构建。这将在发布模式下构建，强烈推荐。在没有优化的调试模式下，一些数据处理将非常慢。
• 使用 bin/test 运行测试。
• 构建后使用 bin/wmd 运行。
  我建议在您的路径上为此文件添加一个符号链接。在我的机器上，~/bin 在我的路径上，所以我只需运行 ln -s $PWD/bin/wmd ~/bin。

页面存储使用 Cap'n Proto 的 Rust 实现 capnproto-rust 进行编码。这需要从 .capnp 模式文件（目前在 crates/wikimedia-store/capnp/）生成访问器代码（目前在 crates/wikimedia-store/capnp/generated）。

访问器代码已存入源代码仓库，因此在使用cargo install或构建脚本构建代码时，无需安装生成器工具，但如果修改了模式文件，构建脚本会检测到这一点并自动重新生成访问器代码。

您必须将这些依赖项安装到您的可执行路径以重新生成访问器代码

• capnp，Cap'n Proto 模式编译器；请参阅安装说明。
• capnpc-rust，capnp的Rust插件。使用cargo install capnpc安装。