fasttext-serving

fastText 模型服务

安装

您可以从 GitHub 发布 下载预构建的二进制文件，或者使用 Cargo 进行安装

cargo install fasttext-serving

使用 Docker

docker pull messense/fasttext-serving

用法

$ fasttext-serving --help

USAGE:
    fasttext-serving [OPTIONS] --model <model>

FLAGS:
        --grpc       Serving gRPC API instead of HTTP API
    -h, --help       Prints help information
    -V, --version    Prints version information

OPTIONS:
    -a, --address <address>    Listen address [default: 127.0.0.1]
    -m, --model <model>        Model path
    -p, --port <port>          Listen port [default: 8000]
    -w, --workers <workers>    Worker thread count, defaults to CPU count

提供 HTTP REST API

HTTP API 端点

POST /predict

POST 数据应为字符串 JSON 数组，例如 ["abc", "def"]

CURL 示例

$ curl -X POST -H 'Content-Type: application/json' \
     --data "[\"Which baking dish is best to bake a banana bread?\", \"Why not put knives in the dishwasher?\"]" \
     'https://127.0.0.1:8000/predict'
[[["baking"],[0.7152988]],[["equipment"],[0.73479545]]]

提供 gRPC API

使用 --grpc 运行命令以提供 gRPC API 而不是 HTTP REST API。

请参阅此处 gRPC Python 客户端文档 这里.

许可证

本作品在 MIT 许可证下发布。许可证副本在 LICENSE 文件中提供。