该 dataproc1 命令行界面 (CLI) 允许您从终端舒适地使用 Google Dataproc 服务的多数功能。

默认情况下，所有输出都打印到标准输出，但可以通过设置标志将其直接定向到文件，而无需依赖于您的 shell 功能。错误将打印到标准错误，并导致程序的退出代码不为零。

如果请求数据结构，这些数据结构将作为格式化的 JSON 返回，以便作为其他工具的输入。

有关 Dataproc API 的其他信息，请参阅 官方文档网站。

安装和源代码

使用 cargo 安装命令行界面

cargo install google-dataproc1-cli

在 GitHub 上查找源代码。

用法

本文档是从 Dataproc API（修订版 20220224）生成的。CLI 版本为 3.1.0。

dataproc1 [options]
        projects
                locations-autoscaling-policies-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-autoscaling-policies-delete <name> [-p <v>]... [-o <out>]
                locations-autoscaling-policies-get <name> [-p <v>]... [-o <out>]
                locations-autoscaling-policies-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-autoscaling-policies-list <parent> [-p <v>]... [-o <out>]
                locations-autoscaling-policies-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-autoscaling-policies-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-autoscaling-policies-update <name> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-batches-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-batches-delete <name> [-p <v>]... [-o <out>]
                locations-batches-get <name> [-p <v>]... [-o <out>]
                locations-batches-list <parent> [-p <v>]... [-o <out>]
                locations-workflow-templates-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-delete <name> [-p <v>]... [-o <out>]
                locations-workflow-templates-get <name> [-p <v>]... [-o <out>]
                locations-workflow-templates-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-instantiate <name> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-instantiate-inline <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-list <parent> [-p <v>]... [-o <out>]
                locations-workflow-templates-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                locations-workflow-templates-update <name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-autoscaling-policies-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-autoscaling-policies-delete <name> [-p <v>]... [-o <out>]
                regions-autoscaling-policies-get <name> [-p <v>]... [-o <out>]
                regions-autoscaling-policies-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-autoscaling-policies-list <parent> [-p <v>]... [-o <out>]
                regions-autoscaling-policies-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-autoscaling-policies-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-autoscaling-policies-update <name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-create <project-id> <region> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-delete <project-id> <region> <cluster-name> [-p <v>]... [-o <out>]
                regions-clusters-diagnose <project-id> <region> <cluster-name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-get <project-id> <region> <cluster-name> [-p <v>]... [-o <out>]
                regions-clusters-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-inject-credentials <project> <region> <cluster> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-list <project-id> <region> [-p <v>]... [-o <out>]
                regions-clusters-patch <project-id> <region> <cluster-name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-repair <project-id> <region> <cluster-name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-start <project-id> <region> <cluster-name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-stop <project-id> <region> <cluster-name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-clusters-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-cancel <project-id> <region> <job-id> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-delete <project-id> <region> <job-id> [-p <v>]... [-o <out>]
                regions-jobs-get <project-id> <region> <job-id> [-p <v>]... [-o <out>]
                regions-jobs-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-list <project-id> <region> [-p <v>]... [-o <out>]
                regions-jobs-patch <project-id> <region> <job-id> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-submit <project-id> <region> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-submit-as-operation <project-id> <region> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-jobs-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-operations-cancel <name> [-p <v>]... [-o <out>]
                regions-operations-delete <name> [-p <v>]... [-o <out>]
                regions-operations-get <name> [-p <v>]... [-o <out>]
                regions-operations-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-operations-list <name> [-p <v>]... [-o <out>]
                regions-operations-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-operations-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-create <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-delete <name> [-p <v>]... [-o <out>]
                regions-workflow-templates-get <name> [-p <v>]... [-o <out>]
                regions-workflow-templates-get-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-instantiate <name> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-instantiate-inline <parent> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-list <parent> [-p <v>]... [-o <out>]
                regions-workflow-templates-set-iam-policy <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-test-iam-permissions <resource> (-r <kv>)... [-p <v>]... [-o <out>]
                regions-workflow-templates-update <name> (-r <kv>)... [-p <v>]... [-o <out>]
  dataproc1 --help

Configuration:
  [--scope <url>]...
            Specify the authentication a method should be executed in. Each scope
            requires the user to grant this application permission to use it.
            If unset, it defaults to the shortest scope url for a particular method.
  --config-dir <folder>
            A directory into which we will store our persistent data. Defaults to
            a user-writable directory that we will create during the first invocation.
            [default: ~/.google-service-cli]

配置

程序将所有持久数据存储在 ~/.google-service-cli 目录中的 JSON 文件中，文件以 dataproc1- 前缀。您可以通过在每次调用时使用 --config-dir 标志来更改用于存储配置的目录。

有关各种类型持久数据的更多信息，请参阅以下段落。

身份验证

大多数 API 需要用户对任何请求进行身份验证。如果是这种情况，则 作用域 确定了授予的权限集。这些通常不会超过 只读 或 完全访问。

如果未设置，系统将自动选择最小的可行范围，例如在调用只读方法时，它将只请求只读范围。您可以使用 --scope 标志直接指定范围。所有适用的范围都在相应方法的 CLI 文档中有说明。

首次使用范围时，系统会提示用户授权。按照 CLI 指示授权或拒绝。

如果用户已验证范围，相关信息将以 JSON 格式存储在配置目录中，例如 ~/.google-service-cli/dataproc1-token-<scope-hash>.json。无需手动管理这些令牌。

要撤销授权，请参阅官方文档。

应用程序密钥

为了允许任何应用程序使用 Google 服务，它需要使用 Google 开发者控制台 进行注册。为应用程序启用可能使用的 API 是逐个启用的。大多数 API 可免费使用，并设有每日配额。

为了在不强制用户注册自己的应用程序的情况下更舒适地使用 CLI，CLI 内置了一个默认的应用程序密钥，并相应地进行了配置。这也意味着全球范围内的频繁使用可能会耗尽每日配额。

您可以通过将您自己的密钥文件放在此位置来解决这个问题：~/.google-service-cli/dataproc1-secret.json，假设已为它启用了所需的 dataproc API。此类密钥文件可以从 Google 开发者控制台 在 APIs & auth -> Credentials -> Download JSON 下载并直接使用。

有关如何设置 Google 项目和启用 API 的更多信息，请参阅官方文档。

调试

尽管 CLI 尽最大努力提供可用的错误消息，但有时可能希望了解导致特定问题的确切原因。这是通过允许所有客户端-服务器通信直接输出到标准错误来实现的。

使用 --debug 标志将错误打印到标准错误，使用 Debug 表示形式。

您可以考虑将标准错误重定向到文件以方便使用，例如 dataproc1 --debug <resource> <method> [options] 2>debug.txt。