#search #document #real-time #next-gen #engine #infini #innovation

已撤销 infini-search

下一代实时搜索与AI原生创新引擎

1 个不稳定版本

0.0.1 2023年5月23日

#16 in #next-gen

AGPL-3.0-or-later

22KB
532

INFINI 搜索,代号:Pizza

下一代实时搜索与AI原生创新引擎。

INFINI Pizza 的主要功能

  • 真正的实时:插入后立即获得搜索结果,无需再刷新。
  • 支持原地部分更新:不再需要拉取和推送整个文档。
  • 高性能:具有极高的吞吐量和低延迟,硬件降低。
  • 高可扩展性:支持超大规模集群,超出PB级别。
  • 使用对象存储进行持久化的内存索引和列式存储。
  • 与LLMs和ML的原生集成,推动AI原生企业创新。

采用存储和计算分离的设计,以及存储和索引分离。此功能强调了存储和计算的解耦,以及存储和索引的分离。它通过允许独立管理和优化存储资源、计算资源和索引策略,实现了高效且可扩展的数据处理。

文档以Parquet文件的形式持久化存储在对象存储中。通过对象存储和标准Parquet格式与其它大数据系统原生集成。

INFINI Pizza 的理念是,索引应根据用例进行设计,不应试图用一个索引适应所有用例。因此,我们引入了视图,允许将不同的文档源组合成单个索引,或将文档分离成不同层级的索引以适应不同的用例。

与LLMs(语言模型)和ML(机器学习)技术的原生集成是INFINI Pizza 的关键方面,为AI原生企业创新提供了强大的能力。通过无缝集成LLMs和ML框架,INFINI Pizza 使高级自然语言处理、机器学习和数据分析直接在搜索和数据检索管道中成为可能。

这种集成使企业能够利用AI技术的全部潜力,如情感分析、语言理解、推荐系统和预测分析,以增强其搜索和数据驱动应用程序。通过利用LLMs和ML模型的力量,INFINI Pizza 实现了更准确、更具有情境感知的搜索结果、个性化推荐、智能查询理解以及其他AI驱动功能。

INFINI Pizza与LLM和机器学习的本地集成消除了单独基础设施或复杂集成工作的需求。它为企业在搜索和数据处理工作流程中利用尖端AI能力提供了一个无缝高效的环境。这种集成开辟了新的AI驱动创新可能性,并释放了企业数据在增强决策、客户体验和业务洞察方面的全部潜力。

想了解更多关于INFINI Pizza的信息,请访问:http://infinilabs.com/

依赖项

~17–30MB
~510K SLoC