11 个版本

0.1.11 2024年1月23日
0.1.10 2023年12月20日
0.1.9 2022年6月28日
0.1.7 2022年5月8日
0.1.1 2022年3月27日

#2230数据库接口

每月 21 次下载
用于 callysto-avro

Apache-2.0

165KB
4K SLoC

Callysto 是一个关注性能和持久性的 Rust 流处理框架。

注意:Callysto 已在多家公司的生产环境中使用,并已准备就绪。此说明将更新有关 Callysto 使用的信息。

要求

  • cmake
  • clang
  • libtool
  • libstdc++-devel

Rust MSRV

我们使用

cargo 1.60.0 (d1fd9fe 2022-03-01)

运行

使用 Docker Compose - Nerdctl Compose

  1. 您需要在本地安装 docker。使用 containerd 后端,如果您想使用单个节点 Kafka 替代品,则
nerdctl compose up

如果您想使用单个节点 Confluent Kafka,则可以

nerdctl compose -f docker-compose.kafkasn.yml

如果您想使用完整的 Confluent Kafka 集群,则使用

nerdctl compose -f docker-compose.kafkacluster.yml

请注意,nerdctl 命令与 docker 命令可互换。

使用 K8S

  1. 您需要在本地安装 K8S。
cd k8s && kubectl apply -f . && kubectl port-forward svc/redpanda 9092:9092
  1. 现在您可以运行 Python 中的生产者了。
virtualenv venv
source venv/bin/activate
which pip3 # check that it is pointing to venv
pip3 install aiokafka -U
python examples/producer.py
  1. 现在您可以启动双代理示例(不包含持久性)。
RUST_LOG="info,rdkafka::client=warn" RUST_BACKTRACE=full cargo run --example double-agent

上面传递的环境变量是可选的,但建议用于开发。

依赖关系

~22–42MB
~654K SLoC