答案是 1 + 2 * 2 * 2。

锁模式：修改队列

queue.yaml 实际上是队列。

Pegasus 在有可用主机时将移除 queue.yaml 的第一条条目。如果你在 Pegasus 拖取之前删除条目，它们将不会执行。如果你向 queue.yaml 添加条目，它们将执行。

问题：我为什么需要这个功能？

想想当剩余命令的数量小于空闲节点数量时的情况。如果没有向 Pegasus 提交更多作业的方法，那些空闲节点将保持空闲，直到所有命令执行完毕，你再次启动一个全新的 Pegasus 实例。

通过提供在命令仍在运行时向队列添加的方法，用户可以实现更高的节点利用率。能够从队列中删除只是一个副产品；向队列添加是关键功能。

问题：但这在 queue.yaml 上是一个竞态条件。

锁模式将锁定 queue.yaml 并为你启动一个命令行编辑器。

$ pegasus l --editor nvim  # l stands for Lock

编辑器的优先级是 --editor > $EDITOR > vim。当你保存并退出时，队列锁将被释放，Pegasus 可以访问 queue.yaml。

问题：如果我添加到 queue.yaml 之前 Pegasus 终止了怎么办？

启用守护进程模式，即使 queue.yaml 为空，Pegasus 也不会终止。它将等待你再次填充 queue.yaml 并执行它们。

$ pegasus q --daemon

使用 Handlebars 的高级模板化

Handlebars 是一个模板引擎，Pegasus 使用 Handlebars 将参数填充到 hostname 和 command 中。

看看这个例子，看看这有多有用

# queue.yaml
- command:
  - python main.py --model-path {{ model }} --output-path {{ replace model "/" "--" }}.json
- model:
  - facebook/opt-13b
  - facebook/opt-30b
  - facebook/opt-66b

上面的命令展开为

# queue.yaml
- python main.py --model-path facebook/opt-13b --output-path facebook--opt-13b.json
- python main.py --model-path facebook/opt-30b --output-path facebook--opt-30b.json
- python main.py --model-path facebook/opt-66b --output-path facebook--opt-66b.json

在这里，facebook/opt-13b 是一个模型块的名字（并且你需要包含 / 以便 Hugging Face 能够理解），但是如果你只是让脚本以 facebook/opt-13b.json 的格式输出结果，它将创建一个名为 facebook 的目录，并将 opt-13b.json 保存在其中。这不是一个好的做法。相反，我们只是使用了来自 handlebars_misc_helpers 的 字符串转换 部分的 replace 助手，基本上执行了 model.replace("/", "--")。

详细信息

Pegasus 使用 sh -c 来运行命令

你放入 queue.yaml 中的命令会被 sh -c 单独包装，并通过 SSH 执行。在你的主机上，sh 可能链接到 bash、dash 或其他，并且某些语法可能允许或不允许（例如，双重括号）。

队列.yaml

这是队列文件。从 queue.yaml 中读取条目，逐个读取。此外，只有在有新主机可供执行新命令时，条目才会被读取。读取的条目会立即附加到 consumed.yaml 中，以“规范形式”呈现，其中每个条目都有一个 command 键。因此，你可以执行类似 tail -n 2 consumed.yaml > queue.yaml 的操作来重新执行之前的单行命令。

如前所述，当需要修改 queue.yaml 时，始终使用锁模式。

广播模式

在广播模式下，主机之间保持同步。也就是说，当所有主机完成执行上一个命令后，将从 queue.yaml 中获取下一个命令并在所有主机上执行。

考虑以下情况

              fast-host   slow-host
- command1     success     success
- command2     success      fail!
- command3     success
- command4     running

在这种情况下，我们希望为 command2 预先添加一个撤销命令（例如，rm -rf repo || true）并从那里重新开始，但是 fast-host 已经远远领先，这使得事情变得复杂。因此，特别是在使用 Pegasus 修改节点时，保持主机同步应该是有益的。