该 datapipelines1 命令行界面 (CLI) 允许您从终端轻松使用 Google Datapipelines 服务的多数功能。

默认情况下，所有输出都打印到标准输出，但可以通过标志将其直接重定向到文件，而不依赖于 shell 的功能。错误将打印到标准错误，并导致程序退出码非零。

如果请求数据结构，则这些结构将作为格式化的 JSON 返回，以便作为其他工具的输入。

有关 Datapipelines API 的所有其他信息，请参阅 官方文档站点。

安装和源代码

使用 cargo 安装命令行界面：

cargo install google-datapipelines1-cli

在 GitHub 上找到源代码。

用法

本文档是根据 Datapipelines API 的 20240225 版本生成的。CLI 的版本为 5.0.4。

datapipelines1 [options]
        projects
                locations-pipelines-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-pipelines-delete <name> [-p <v>]... [-o <out>]
                locations-pipelines-get <name> [-p <v>]... [-o <out>]
                locations-pipelines-jobs-list <parent> [-p <v>]... [-o <out>]
                locations-pipelines-list <parent> [-p <v>]... [-o <out>]
                locations-pipelines-patch <name> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-pipelines-run <name> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-pipelines-stop <name> (-r <kv>)... [-p <v>]... [-o <out>]
  datapipelines1 --help

Configuration:
  [--scope <url>]...
            Specify the authentication a method should be executed in. Each scope
            requires the user to grant this application permission to use it.
            If unset, it defaults to the shortest scope url for a particular method.
  --config-dir <folder>
            A directory into which we will store our persistent data. Defaults to
            a user-writable directory that we will create during the first invocation.
            [default: ~/.google-service-cli]

配置

程序将所有持久数据存储在 ~/.google-service-cli 目录中的 JSON 文件中，文件名以 datapipelines1 为前缀。您可以使用 --config-dir 标志根据调用更改用于存储配置的目录。

以下段落中提供了有关各种类型持久数据的更多信息。

身份验证

大多数 API 需要用户对任何请求进行身份验证。如果是这种情况，则 作用域 决定了授予的权限集。这些通常是只读或完全访问。

如果没有设置，系统将自动选择最小的可行作用域，例如，在调用只读方法时，它将只请求只读作用域。您可以使用 --scope 标志直接指定作用域。所有适用的作用域均在相应方法的 CLI 文档中记录。

首次使用作用域时，会要求用户授权。按照CLI提供的说明进行授权或拒绝。

如果用户已认证作用域，相关信息均将存储在配置目录中的JSON文件中，例如~/.google-service-cli/datapipelines1-token-<scope-hash>.json。无需手动管理这些令牌。

要撤销授权认证，请参阅官方文档。

应用程序密钥

为了让任何应用程序使用Google服务，它需要使用Google开发者控制台进行注册。应用程序可能使用的API将逐个启用。大多数API可以免费使用，并设有每日配额。

为了在不强迫用户注册自己的应用程序的情况下更方便地使用CLI，CLI自带一个默认的应用程序密钥，并据此进行配置。这也意味着全球范围内的重用可能会耗尽每日配额。

您可以通过将您自己的密钥文件放置于此位置来绕过此限制：~/.google-service-cli/datapipelines1-secret.json，假设已为它启用了所需的datapipelines API。此类密钥文件可以在Google开发者控制台的APIs & auth -> Credentials -> Download JSON中下载并直接使用。

有关如何设置Google项目和启用API的更多信息，请参阅官方文档。

调试

尽管CLI会尽力提供可用的错误信息，但有时了解导致特定问题的确切原因可能很有用。这是通过允许所有客户端-服务器通信以原样输出到标准错误来完成的。

使用--debug标志将使用Debug表示法将错误打印到标准错误。

您可以考虑将标准错误重定向到文件，以便于使用，例如datapipelines1 --debug <resource> <method> [options] 2>debug.txt。