cloud-file

Rust中云文件的简单读取

亮点

• HTTP、AWS S3、Azure、Google或本地
• 顺序或随机访问
• 简化了object_store crate的使用，专注于其有用子集的功能
• 通过URL和基于字符串的选项访问文件
• 读取二进制或文本
• 完全异步
• 由genomics crate BedReader 使用，该crate被其他Rust和Python项目使用
• 另请参阅 从Rust代码中访问云文件的最佳实践：从Bed-Reader升级的生物信息学库的经验教训，发布在 Towards Data Science。

安装

cargo add cloud-file

示例

查找云文件的大小。

use cloud_file::CloudFile;
# Runtime::new().unwrap().block_on(async {  // '#' needed for doctest

let url = "https://raw.githubusercontent.com/fastlmm/bed-sample-files/main/toydata.5chrom.fam";
let cloud_file = CloudFile::new(url)?;
let file_size = cloud_file.read_file_size().await?;
assert_eq!(file_size, 14_361);
# Ok::<(), Box<dyn std::error::Error>>(()) }).unwrap();
# use {cloud_file::CloudFileError, tokio::runtime::Runtime};

查找云文件中的行数。

use cloud_file::CloudFile;
use futures::StreamExt; // Enables `.next()` on streams.
# Runtime::new().unwrap().block_on(async { // '#' needed for doctest

let url = "https://raw.githubusercontent.com/fastlmm/bed-sample-files/main/toydata.5chrom.fam";
let cloud_file = CloudFile::new_with_options(url, [("timeout", "30s")])?;
let mut chunks = cloud_file.stream_chunks().await?;
let mut newline_count: usize = 0;
while let Some(chunk) = chunks.next().await {
    let chunk = chunk?;
    newline_count += bytecount::count(&chunk, b'\n');
}
assert_eq!(newline_count, 500);
# Ok::<(), Box<dyn std::error::Error>>(()) }).unwrap();
# use {cloud_file::CloudFileError, tokio::runtime::Runtime};   

更多示例

项目链接

• 安装
• 文档
• 讨论和问题
• 源代码
• 错误报告
• 变更日志