xaynet

Xaynet：使用联邦学习在边缘进行训练

想要一个支持在边缘、桌面浏览器上进行联邦学习，与移动应用集成良好，性能出色且保护隐私的框架吗？欢迎来到 XayNet，它完全用 Rust 编写！

使联邦学习对开发者来说更简单

机器学习框架已经存在，包括那些明确用于联邦学习的框架。这些框架通常促进跨不同领域用例的联邦学习 - 例如在有限数量的医院之间进行协作学习，或者多个银行在共同用例上工作而不需要共享有价值且敏感的数据。

本仓库专注于掩码跨设备联邦学习，以实现对数百万低功耗边缘设备（如智能手机甚至汽车）上的机器学习进行编排。通过这样做，我们希望还能加快和扩大联邦学习的采用速度和范围，特别是在保护最终用户数据方面。所有数据都保留在私有本地场所，只有加密的AI模型才会自动异步地聚合。因此，我们提供了一种解决AI隐私困境的解决方案，并弥合了隐私和便利性之间经常存在的差距。想象一下，例如，一个语音助手可以直接在设备级别学习新单词，并将这些知识与其他所有实例共享，而不需要集中记录和收集您的语音输入。或者，想想一个搜索引擎是如何学习个性化搜索结果的，而不需要集中收集您通常敏感的搜索查询……今天，有数千个这样的用例还在用便利性换取隐私。我们认为这不应该发生，我们希望提供一个解决方案来克服这个困境。

具体来说，我们为开发者提供

• 应用开发工具：一个SDK，用于将联邦学习集成到用Dart或其他移动开发首选语言编写的应用程序中，以及像Flutter这样的框架。
• 通过跨设备联邦学习实现隐私：在边缘设备（如手机、浏览器甚至汽车）上本地训练您的AI模型。联邦学习自动将本地模型聚合为全局模型。因此，所有本地模型中固有的见解都得到捕捉，而用户数据则保持在终端设备上私有。
• 基于同态加密的安全隐私：拥有最高安全性和信任度的聚合模型。Xayn的掩码协议对所有模型进行同态加密。这使您能够将加密的本地模型聚合为全局模型——而无需解密本地模型。这可以保护隐私，甚至是最敏感的数据。

编写此框架的理由

我们的联邦学习框架不仅是一个机器学习框架，而是一个支持在可能异构设备上进行的机器学习联邦的框架，其中用例涉及许多此类设备。

编写此框架所使用的编程语言应该为我们提供以下方面的强大支持

• 运行“无处不在”：该语言不应需要其自己的运行时，并且代码应在广泛的设备上编译。
• 内存和并发安全：编译的代码应既内存安全又无数据竞争。
• 安全通信：应提供经过验证的加密实现中的最先进加密。
• 异步通信：应存在异步通信的抽象，以实现联邦学习的可扩展性。
• 快速且功能性强：该语言应提供功能抽象，同时将代码编译成快速可执行文件。

Rust是少数几种符合这些要求的现代编程语言之一

• 它的所有权和借用概念使它既内存安全又线程安全（从而避免了许多常见的并发问题）。
• 它具有强大且静态的类型纪律和特质，这些特质描述了类型的可共享功能。
• 它是一种现代系统编程语言，具有一些功能式风格特性，如模式匹配、闭包和迭代器。
• 其惯用代码在性能上与惯用C代码相媲美。
• 它编译为WASM，因此可以在浏览器设置中原生应用。
• 它具有广泛的部署能力，并且不一定依赖于运行时，这与Java等语言及其需要虚拟机来运行其代码的需求不同。Foreign Function Interfaces支持从其他语言/框架（包括Dart、Python和Flutter）调用。
• 它编译为LLVM，因此可以借鉴LLVM的丰富工具套件。

入门指南

最低支持的Rust版本

rustc 1.51.0

运行平台

运行后端有几种不同的方式：通过Docker，或者部署到Kubernetes集群，或者通过编译代码并手动运行二进制文件。

1. 以下所有描述都假设您的shell工作目录是存储库的根目录。
2. 以下说明假设您对某些引用的软件（如docker和docker-compose）有先前的知识，或者有一个可用的设置（如果您决定编译Rust代码并手动运行二进制文件）。
3. 如果您需要帮助设置系统，我们建议您参考每个工具的官方文档，因为在这里支持它们超出了本项目范围
   • Rust
   • Docker 和 Docker Compose
   • Kubernetes

注意

使用Xaynet v0.11，协调器需要连接到Redis实例以保存其状态。

不要将协调器连接到用于生产的Redis实例！

我们建议将协调器连接到其自己的Redis实例。我们已经投入了大量时间来确保协调器只会删除自己的数据，但在当前的开发状态下，我们无法保证这始终是这种情况。

使用Docker

使用Docker设置的便利之处在于，不需要在系统上设置工作的Rust环境，因为所有操作都在容器内部完成。

从Docker Hub运行镜像

最新版本的Docker镜像可在Docker Hub上找到。

您可以使用默认的configs/docker-dev.toml来尝试它们，通过以下命令运行

Xaynet版本低于v0.11

docker run -v ${PWD}/configs/docker-dev.toml:/app/config.toml -p 8081:8081 xaynetwork/xaynet:v0.10.0 /app/coordinator -c /app/config.toml

Xaynet版本v0.11及以上

# don't forget to adjust the Redis url in configs/docker-dev.toml
docker run -v ${PWD}/configs/docker-dev.toml:/app/config.toml -p 8081:8081 xaynetwork/xaynet:v0.11.0

该Docker镜像包含不带可选功能的协调器的发布构建。

运行带额外基础设施的协调器

通过指向docker/docker-compose.yml文件启动协调器。它启动所有必需的基础设施，以便使用默认或可选功能运行协调器。请注意，此文件仅用于开发。

docker-compose -f docker/docker-compose.yml up --build

创建发布构建

如果您愿意，可以创建协调器的优化发布构建，但请注意，编译将更慢。

docker build --build-arg RELEASE_BUILD=1 -f ./docker/Dockerfile .

构建带可选功能的协调器

可选功能可以通过构建参数COORDINATOR_FEATURES指定。

docker build --build-arg COORDINATOR_FEATURES=tls,metrics -f ./docker/Dockerfile .

使用Kubernetes

要将协调器实例部署到您的Kubernetes集群，请使用位于k8s/coordinator文件夹中的清单。这些清单依赖于kustomize来生成（自v1.14以来，kustomize由kubectl官方支持）。我们建议您仔细检查清单，并根据您的设置（命名空间、入口等）进行调整。

请记住还要检查（如有必要，请调整）协调器的默认配置，该配置位于k8s/coordinator/development/config.toml。

请确保在k8s/coordinator/development/ingress.yaml文件中使用的域名与您的需求匹配（您也可以完全跳过ingress，只需确保从k8s/coordinator/development/kustomization.yaml中删除其引用即可）。

请注意，ingress配置显示在k8s/coordinator/development/ingress.yaml中，它依赖于由于敏感性质（例如TLS密钥和证书）而在此存储库中不可用的资源。

要验证生成的清单，请运行

kubectl kustomize k8s/coordinator/development

要应用它们

kubectl apply -k k8s/coordinator/development

如果您没有通过ingress公开您的协调器，您仍然可以通过端口转发来访问它。以下示例在端口8081上创建端口转发，假设协调器Pod仍在使用app=coordinator标签

kubectl port-forward $(kubectl get pods -l "app=coordinator" -o jsonpath="{.items[0].metadata.name}") 8081

手动构建项目

可以使用以下方式构建和启动不带可选功能的协调器

cd rust
cargo run --bin coordinator -- -c ../configs/config.toml

运行示例

示例可以在rust/examples/下找到。它使用一个模拟模型，但具有网络功能，因此是检查与协调器连接性的好起点。

测试驾驶

请确保您有一个运行的协调器实例，并且您将使用以下命令生成的客户端能够通过网络访问它。

以下是一个示例，说明如何启动 20 名参与者，他们将连接到运行在 127.0.0.1:8081 的协调器。

cd rust
RUST_LOG=info cargo run --example test-drive -- -n 20 -u http://127.0.0.1:8081

有关如何运行示例的更详细说明，请参阅 rust/xaynet-server/src/examples.rs 下的配套入门指南。

故障排除

如果您在运行项目时遇到任何困难，请通过 提交问题 并描述您的设置和遇到的问题来与我们联系。