#fluvio #cluster #data #streaming #distributed #installing #data-processing

已删除 fluvio-cluster

用于安装和管理Fluvio集群的工具

0.7.1 2021年2月20日
0.6.0 2021年1月16日
0.5.0 2020年12月29日
0.3.0 2020年11月10日

#20 in #installing

每月 24 次下载
用于 fluvio-cli

Apache-2.0

660KB
15K SLoC

Fluvio是一个使用Rust和Web Assembly编写的轻量级高性能分布式数据流系统。

快速入门 - 2分钟或更短的时间内开始使用Fluvio!

步骤 1. 下载Fluvio版本管理器

在终端运行

curl -fsS https://hub.infinyon.cloud/install/install.sh | bash

按照说明,将bin目录的路径复制/粘贴到启动脚本文件中。

Fluvio版本管理器将为您提供下载不同版本Fluvio的能力

  • 包括我们具有内置压缩、缓存和镜像的只读边缘集群,即使在延长停机时间的情况下也不会丢失数据。
  • 或我们正在使用Web Assembly组件模型构建的有状态流开发者预览版,以支持所有Web Assembly兼容语言。

步骤 2. 启动本地集群

以下命令将默认启动本地集群

fluvio cluster start

步骤 3. 创建主题

以下命令将创建一个名为hello-fluvio的主题

fluvio topic create hello-fluvio

步骤 4. 向主题生产,从主题消费

向您的主题生产数据。首先运行该命令,然后输入一些消息

fluvio produce hello-fluvio
> hello fluvio
Ok!
> test message
Ok!

从主题消费数据,在另一个终端中运行以下命令

fluvio consume hello-fluvio -B -d

就是这样!您的本地集群正在运行。

使用预构建的Fluvio版本

您可能希望使用比最新稳定版本更旧的Fluvio版本。您可以通过在VERSION环境变量中指定版本来实现这一点。

安装最新版本(截至master分支)

$ curl -fsS https://hub.infinyon.cloud/install/install.sh | VERSION=latest bash

安装特定版本

$ curl -fsS https://hub.infinyon.cloud/install/install.sh | VERSION=x.y.z bash

下一步

现在您已经运行了一个集群,您可以尝试在多种范例中构建数据流。

查看Fluvio核心文档

Fluvio文档将提供有关如何使用Fluvio集群、CLI、客户端和开发工具包的更多信息。

学习如何构建自定义连接器

Fluvio几乎可以连接到您能想到的任何系统。

  • 对于第一方系统,Fluvio客户端可以与边缘系统或应用程序集成以获取数据。
  • 对于第三方系统,Fluvio连接器在协议级别连接,并将数据收集到Fluvio主题中。

Fluvio 出厂时自带 HTTP、webhook、MQTT、Kafka 入站连接器。在出站连接器方面,Fluvio 支持出厂时支持的 SQL、DuckDB、Graphite、Redis 的实验性构建、S3 等。

使用连接器开发工具包,我们几天内就构建了现有的连接器。查看文档,并告诉我们如果您需要帮助构建任何连接器。

了解如何构建自定义智能模块

Fluvio 应用基于 wasm 的流处理和数据转换。我们称这些可重用转换函数为智能模块。可重用智能模块使用智能模块开发工具包构建,并可以使用 InfinyOn 云中心进行分发。

对多语言开发接口支持的数量有一些限制。虽然可以为与 wasm 兼容的语言生成绑定,但这种方法存在一些问题。我们有一个更好的解决方案,即使用 WebAssembly 组件模型实现的状态服务开发工具包。在未来的版本中,我们将能够原生支持所有与 wasm 兼容的编程语言。

在 InfinyOn 云上尝试工作流程

InfinyOn 云是作为托管服务在云上的 Fluvio。所有新用户都获得价值 3000 美元的信用额度,以在 InfinyOn 云上构建数据流。

客户

语言特定 API 文档

社区维护

贡献

如果您想为该项目做出贡献,请阅读我们的贡献指南

贡献者是了不起的

contrib.rocks制作。

许可证

该项目遵循Apache 许可证


lib.rs:

用于安装、管理和删除 Fluvio 集群的功能。

此 crate 的主要用途是使用 ClusterInstaller 在 Kubernetes 上安装 Fluvio 集群,该工具提供集群规范的流畅接口。

示例

要安装基本的 Fluvio 集群,只需执行以下操作

use fluvio_cluster::{ClusterInstaller, ClusterConfig, ClusterError};
let config = ClusterConfig::builder("0.7.0-alpha.1").build()?;
let installer = ClusterInstaller::from_config(config)?;
installer.install_fluvio().await?;

依赖关系

~24–41MB
~720K SLoC