llm-chain-sagemaker-endpoint

Amazon SageMaker Endpoint 驱动程序。允许您调用托管在 Amazon SageMaker Endpoint 上的模型，这包括 Amazon SageMaker Jumpstart 模型。

入门

1. 此crate使用 Rust 的 AWS SDK 与 Amazon SageMaker 进行通信。您需要根据此指南设置凭据和区域。
2. 遵循 SageMaker JumpStart 文档来查找 LLM，然后部署它。
3. 记下 SageMaker JumpStart 创建的 SageMaker Endpoint 名称。
4. 此crate包含一些模型，请参阅 model::Model::<model_name>。在执行器的选项中的 Model 字段中选择一个。请参阅 examples/simple.rs 中的示例。
5. 对于自定义模型或未包含在 model::Model 中的模型，使用 model::Model::Other(<model_name>)，其中 model_name 是 SageMaker endpoint 名称。