s3m

s3m 是一个用于在 S3 存储桶中存储数据流的命令行工具。

试图解决的问题

有一些数据流不能丢失，并且在创建时，它们会降低运行系统的性能，例如，如果流是数据库的备份，每次生成流时可能会锁定整个集群（取决于使用的选项和工具，例如 mysqldump/xtrabackup），然而，创建流的努力与数据库的大小成比例，在大多数情况下，数据库越大，所需的时间和 CPU 以及内存就越多。

在备份的情况下，通常将流通过压缩工具管道传输，然后存储到磁盘上，在某些情况下，由于大小限制，无法将数据写入数据库所在的现有磁盘或远程挂载端点，因此压缩的备份应流式传输到 S3 存储桶（X 提供商），因此如果在传输过程中由于某种原因连接丢失，几乎在完成前，整个备份过程可能会损坏，在最坏的情况下，一切都需要从头开始。

s3m 的目标除了尝试消耗更少的资源外，还力求使传入流的存储过程尽可能“容错”，即使服务器丢失网络连接，流也可以从中断处恢复并继续上传过程，而无需从头开始（当输入来自 STDIN/pipe 时）。

https://s3m.stream