#filter #json #big

datapan

datapan 过滤(大)文件

1 个不稳定版本

0.1.1 2020年2月14日

#37 in #big

GPL-3.0 许可证

13KB

datapan

Build Lifecycle PyPI Crates.io


这仍然是一个测试平台。它并不实用

datapan 通过并行化的 Rust 在大量文件中进行筛选,以便尽可能快且高效地获取您所需的数据。


安装

## create/activate venv
# sudo apt-get install python3-venv
# python3 -m venv datapan_env
# source datapan_env/bin/activate
# python -m pip install --upgrade pip

## install datapan
pip install datapan

用法

import datapan

some_dir = ""

test = datapan.hello_rust(some_dir)

print(test)

开发者版本

  • Rust (nightly)
curl https://sh.rustup.rs -sSf | sh
# rustup default nightly
rustup update nightly
  • Poetry
pip install poetry
make install
make test

依赖项

~9MB
~174K SLoC