1 个不稳定版本
0.0.1 | 2023年5月23日 |
---|
#16 in #next-gen
22KB
532 行
INFINI 搜索,代号:Pizza
下一代实时搜索与AI原生创新引擎。
INFINI Pizza 的主要功能
- 真正的实时:插入后立即获得搜索结果,无需再刷新。
- 支持原地部分更新:不再需要拉取和推送整个文档。
- 高性能:具有极高的吞吐量和低延迟,硬件降低。
- 高可扩展性:支持超大规模集群,超出PB级别。
- 使用对象存储进行持久化的内存索引和列式存储。
- 与LLMs和ML的原生集成,推动AI原生企业创新。
采用存储和计算分离的设计,以及存储和索引分离。此功能强调了存储和计算的解耦,以及存储和索引的分离。它通过允许独立管理和优化存储资源、计算资源和索引策略,实现了高效且可扩展的数据处理。
文档以Parquet文件的形式持久化存储在对象存储中。通过对象存储和标准Parquet格式与其它大数据系统原生集成。
INFINI Pizza 的理念是,索引应根据用例进行设计,不应试图用一个索引适应所有用例。因此,我们引入了视图,允许将不同的文档源组合成单个索引,或将文档分离成不同层级的索引以适应不同的用例。
与LLMs(语言模型)和ML(机器学习)技术的原生集成是INFINI Pizza 的关键方面,为AI原生企业创新提供了强大的能力。通过无缝集成LLMs和ML框架,INFINI Pizza 使高级自然语言处理、机器学习和数据分析直接在搜索和数据检索管道中成为可能。
这种集成使企业能够利用AI技术的全部潜力,如情感分析、语言理解、推荐系统和预测分析,以增强其搜索和数据驱动应用程序。通过利用LLMs和ML模型的力量,INFINI Pizza 实现了更准确、更具有情境感知的搜索结果、个性化推荐、智能查询理解以及其他AI驱动功能。
INFINI Pizza与LLM和机器学习的本地集成消除了单独基础设施或复杂集成工作的需求。它为企业在搜索和数据处理工作流程中利用尖端AI能力提供了一个无缝高效的环境。这种集成开辟了新的AI驱动创新可能性,并释放了企业数据在增强决策、客户体验和业务洞察方面的全部潜力。
想了解更多关于INFINI Pizza的信息,请访问:http://infinilabs.com/
依赖项
~17–30MB
~510K SLoC