Lib.rs

› 关键字 #ai #chunking #cdc #content-defined #data #split #text #language-model

#chunk-size

  1. text-splitter

    将文本分割成语义块，最多达到期望的块大小。支持按字符和标记计算长度，并可从Rust和Python调用。

    v0.15.0 11K #chunk-size #split #nlp #tokenizer #ai #language-model #text

  2. fastcdc

    (内容定义块) 纯Rust实现

    v3.1.0 5.0K #chunk-size #content-defined #chunking #cdc #algorithm #streaming #results

  3. swiftide-indexing

    用于AI应用的超级快速、流式处理管道库

    v0.9.0 500 #ai #openai #llm #rag #data #chunk-size

  4. s3sync

    非常快且强大的S3同步命令行工具

    v1.6.0 550 #amazon-s3 #s3 #object-storage #chunk-size #aws #sync #aws-sdk

  5. kun_peng

    Kun-peng：一款超快速、内存占用低且准确的分类器，适用于所有

    v0.6.11 330 #bioinformatics #exposome #metagenomics #microbiome #chunk-size #output-format #order

  6. fastcdc-alt

    FastCDC (内容定义块) 纯Rust实现，提供与原始包不同的API

    v0.2.2 #content-defined #chunking #cdc #chunk-size #fork #original #data

  7. bailongma

    TDengine的官方Prometheus远程存储适配器

    v0.2.4 #prometheus #remote #td-engine #blm #chunk-size #table-column

  8. concurrent-slice

    扩展切片类型，提供并发处理方法

    v0.1.0 #processing #methods #chunks #slice #concurrency #types #chunk-size

    9. 尝试使用DuckDuckGo进行搜索。