aws-sdk-datapipeline

AWS Data Pipeline 配置和管理称为管道的数据驱动工作流。AWS Data Pipeline 处理调度细节以及确保数据依赖关系得到满足，从而使您的应用程序能够专注于处理数据。

AWS Data Pipeline 提供了一个名为 AWS Data Pipeline Task Runner 的任务运行器的 JAR 实现。AWS Data Pipeline Task Runner 为常见的数据管理场景提供逻辑，例如执行数据库查询和使用 Amazon Elastic MapReduce (Amazon EMR) 运行数据分析。您可以使用 AWS Data Pipeline Task Runner 作为您的任务运行器，或者编写自己的任务运行器以提供自定义数据管理。

AWS Data Pipeline 实现了两套主要功能。使用第一套创建管道并定义数据源、计划、依赖关系以及要在数据上执行的数据转换。在您的任务运行器应用程序中使用第二套接收下一个准备处理的任务。执行任务的逻辑，例如查询数据、运行数据分析或转换数据格式，包含在任务运行器中。任务运行器执行由网络服务分配给它的任务，在执行过程中向网络服务报告进度。当任务完成时，任务运行器向网络服务报告任务的最终成功或失败。

入门

许多服务和操作都有示例，请查看 GitHub 中的示例文件夹。

SDK 为每个 AWS 服务提供一个 crate。您必须在 Rust 项目中添加 Tokio 作为依赖项以执行异步代码。要将 aws-sdk-datapipeline 添加到您的项目中，请将以下内容添加到您的 Cargo.toml 文件中

[dependencies]
aws-config = { version = "1.1.7", features = ["behavior-version-latest"] }
aws-sdk-datapipeline = "1.39.0"
tokio = { version = "1", features = ["full"] }

然后在代码中，可以使用以下方式创建一个客户端

use aws_sdk_datapipeline as datapipeline;

#[::tokio::main]
async fn main() -> Result<(), datapipeline::Error> {
    let config = aws_config::load_from_env().await;
    let client = aws_sdk_datapipeline::Client::new(&config);

    // ... make some calls with the client

    Ok(())
}

请参阅客户端文档，了解可以进行的调用以及每个调用的输入和输出信息。

使用SDK

在SDK发布之前，我们将向开发者指南中添加有关使用SDK的信息。您可以通过打开一个issue并描述您想要做的事情来为指南提出额外的章节建议。

获取帮助

• GitHub论坛 - 用于想法、RFC和一般问题
• GitHub issue - 用于错误报告和功能请求
• 生成的文档（最新版本）
• 用法示例

许可证

本项目采用Apache-2.0许可证。