#data-pipeline #google #protocols #google-api #web

google-datapipelines1

与Datapipelines(协议v1)交互的完整库

8个版本 (稳定版)

5.0.5+20240616 2024年6月27日
5.0.4+20240225 2024年3月5日
5.0.3+20230115 2023年8月23日
5.0.2+20230115 2023年3月16日
3.0.0+20220218 2022年3月8日

Web编程 中排名第 2551

Download history 12/week @ 2024-05-19 1/week @ 2024-05-26 2/week @ 2024-06-02 87/week @ 2024-06-23 12/week @ 2024-06-30

每月下载量 478
google-datapipelines1-cli 中使用

MIT 许可协议

235KB
3K SLoC

google-datapipelines1 库允许访问Google Datapipelines服务的所有功能。

本文档是从Datapipelines crate版本5.0.5+20240616生成的,其中20240616mako代码生成器v5.0.5构建的datapipelines:v1模式的精确版本。

有关Datapipelines v1 API的所有其他信息,请参阅官方文档网站

功能

从中心 枢纽轻松处理以下 资源 ...

本库的结构

API结构为以下主要项目

  • 枢纽
  • 资源
    • 您可以将活动应用于的主要类型
    • 一组属性和部分
    • 部分
      • 一组属性
      • 从未在活动中直接使用
  • 活动
    • 应用于资源的操作

所有结构都被标记为适用的特性,以便进一步分类并便于浏览。

一般来说,你可以这样调用活动

let r = hub.resource().activity(...).doit().await

或者具体...

let r = hub.projects().locations_pipelines_create(...).doit().await
let r = hub.projects().locations_pipelines_get(...).doit().await
let r = hub.projects().locations_pipelines_patch(...).doit().await
let r = hub.projects().locations_pipelines_stop(...).doit().await

resource()activity(...)调用创建了构建器。第二个处理活动,支持各种方法来配置即将进行的操作(此处未显示)。它是这样设计的,即所有必需的参数必须立即指定(即(...)),而所有可选的参数都可以根据需要构建doit()方法执行与服务器的实际通信并返回相应的结果。

用法

设置你的项目

要使用这个库,你需要在你的Cargo.toml文件中放入以下几行

[dependencies]
google-datapipelines1 = "*"
serde = "^1.0"
serde_json = "^1.0"

一个完整的例子

extern crate hyper;
extern crate hyper_rustls;
extern crate google_datapipelines1 as datapipelines1;
use datapipelines1::api::GoogleCloudDatapipelinesV1Pipeline;
use datapipelines1::{Result, Error};
use std::default::Default;
use datapipelines1::{Datapipelines, oauth2, hyper, hyper_rustls, chrono, FieldMask};

// Get an ApplicationSecret instance by some means. It contains the `client_id` and 
// `client_secret`, among other things.
let secret: oauth2::ApplicationSecret = Default::default();
// Instantiate the authenticator. It will choose a suitable authentication flow for you, 
// unless you replace  `None` with the desired Flow.
// Provide your own `AuthenticatorDelegate` to adjust the way it operates and get feedback about 
// what's going on. You probably want to bring in your own `TokenStorage` to persist tokens and
// retrieve them from storage.
let auth = oauth2::InstalledFlowAuthenticator::builder(
        secret,
        oauth2::InstalledFlowReturnMethod::HTTPRedirect,
    ).build().await.unwrap();
let mut hub = Datapipelines::new(hyper::Client::builder().build(hyper_rustls::HttpsConnectorBuilder::new().with_native_roots().unwrap().https_or_http().enable_http1().build()), auth);
// As the method needs a request, you would usually fill it with the desired information
// into the respective structure. Some of the parts shown here might not be applicable !
// Values shown here are possibly random and not representative !
let mut req = GoogleCloudDatapipelinesV1Pipeline::default();

// You can configure optional parameters by calling the respective setters at will, and
// execute the final call using `doit()`.
// Values shown here are possibly random and not representative !
let result = hub.projects().locations_pipelines_patch(req, "name")
             .update_mask(FieldMask::new::<&str>(&[]))
             .doit().await;

match result {
    Err(e) => match e {
        // The Error enum provides details about what exactly happened.
        // You can also just use its `Debug`, `Display` or `Error` traits
         Error::HttpError(_)
        |Error::Io(_)
        |Error::MissingAPIKey
        |Error::MissingToken(_)
        |Error::Cancelled
        |Error::UploadSizeLimitExceeded(_, _)
        |Error::Failure(_)
        |Error::BadRequest(_)
        |Error::FieldClash(_)
        |Error::JsonDecodeError(_, _) => println!("{}", e),
    },
    Ok(res) => println!("Success: {:?}", res),
}

处理错误

系统产生的所有错误都作为Result枚举提供,作为doit()方法的返回值,或者作为可能的中级结果传递给Hub DelegateAuthenticator Delegate

当代理处理错误或中间值时,它们可能会有机会指示系统重试。这使得系统可能对所有类型的错误都具有弹性。

上传和下载

如果某个方法支持下载,响应体应该是Result的一部分,你应该读取它以获取媒体。如果这样的方法也支持Response Result,它将默认返回。你可以将其视为实际媒体的元数据。要触发媒体下载,你必须通过此调用设置构建器:.param("alt", "media")

支持上传的方法可以使用多达2种不同的协议:简单可恢复。每种的独特性都由定制的doit(...)方法表示,分别命名为upload(...)upload_resumable(...)

自定义和回调

您可以通过在调用最终 doit() 之前,向 方法构建器 提供一个 代理 来更改调用 doit() 方法的方式。将调用相应的方法来提供进度信息,并确定系统在失败时是否应重试。

代理特质 具有默认实现,允许您以最小的努力进行自定义。

服务器请求中的可选部分

此库提供的所有结构都旨在通过 json 进行 编码解码。可选项用于表示部分请求和响应是有效的。大多数可选项都是被认为是 部分,这些部分可以通过名称识别,将它们发送到服务器以指示请求或响应中所需的设置部分。

构建器参数

使用 方法构建器,您可以通过重复调用其方法来准备操作调用。这些将始终接受单个参数,以下语句始终为真。

  • POD 通过复制传递
  • 字符串作为 &str 传递
  • 请求值 被移动

参数将始终复制或克隆到构建器中,以确保它们与其原始生命周期独立。

Cargo 功能

  • utoipa - 添加对 utoipa 的支持,并在所有类型上派生 utoipa::ToSchema。您必须在 #[openapi(schemas(...))] 中导入和注册所需类型,否则生成的 openapi 规范将是无效的。

许可证

datapipelines1 库由 Sebastian Thiel 生成,并置于 MIT 许可证下。您可以在存储库的 许可证文件 中阅读全文。

依赖关系

~12–22MB
~342K SLoC