HPGO

混合并行性全局编排

(项目名称待定)

开始使用

安装

从 Rust Cargo，作为 Rust 包

cargo install HPGO

从 Python PyPI，作为 Python3 包

pip3 install HPGO

从源代码构建

rustup default nightly
cargo build --release
# library produced under targets/release/libHPGO.so

使用

# Import HPGO Python API from HPGO.so
import HPGO
# Construct the Conductor object
c = HPGO.conductor_from_torch_graph_and_seps("./profiles/xlnet/graph.txt", 64, 512, [8, 16])
res = c.py_orchestrate()
print(res)

许可证

该项目在 BSD-3-Clause 许可证下开源，其详细内容可在 LICENSE 文件中找到

如果您将此库应用于任何项目和研究，请引用此代码

@misc{HPGO,
  author       = {Yi Rong},
  title        = {HPGO, [{Hybrid Parallelism} Global Orchestration]},
  howpublished = {\url{https://github.com/LER0ever/HPGO}},
  year         = {2020}
}

该项目包含来自 PipeDream 的源代码，PipeDream 是一个微软研究院项目，许可协议为 MIT 许可证。从 Pipedream 拿到的代码包括一个 Rust 文件 src/input/torch_graph_py.rs，以及 profiles 目录下的几个分析数据文件和 contrib 目录。

该项目还包含来自 AlibabaPAI/DAPPLE 项目的分析数据。DAPPLE 规划器的开发继续在这里。