Jupiter Search

使用 jupiter 网络 的播客和 meilisearch 进行索引的展示。此仓库的构建是为了提供以下问题的可能解决方案

• 搜索
• 转录

免责声明！

警告！这是一个工作进度版本，用于展示索引/转录可能的工作方式。

概述

项目包含两个主要模块

• podcast2text 下载 RSS 源和转录播客节目的 CLI 工具
• search-load 将获取的转录加载到 meilisearch 实例的 CLI 工具

构建

为了构建，您需要在您的系统上安装以下软件包

• cargo
• pkg-config
• openssl
• ffmpeg

已配置 nix flake 以发送构建依赖项，只需运行 direnv allow 并运行

git submodule update --init --recursive
cargo build --release

为了取悦美味的神祇，请添加以下预提交钩子

git config --local core.hooksPath .githooks

用法

运行下载播客

处理 RSS 源中的音频

1. 下载 whisper 模型

mkdir models
# this might be one of:
# "tiny.en" "tiny" "base.en" "base" "small.en" "small" "medium.en" "medium" "large"
model=medium.en
curl --output models/model.bin https://ggml.ggerganov.com/ggml-model-whisper-$model.bin

2. 在 RSS 源上运行推理

# get information about the cli
docker run flakm/podcast2text --help

docker run \
    -v $PWD/models:/data/models \
    flakm/podcast2text \
    rss https://feed.jupiter.zone/allshows

安装 meilisearch

docker pull getmeili/meilisearch:v0.29
docker run -it --rm \
    -p 7700:7700 \
    -e MEILI_MASTER_KEY='MASTER_KEY'\
    -v $(pwd)/meili_data:/meili_data \
    getmeili/meilisearch:v0.29 \
    meilisearch --env="development"

运行索引创建和数据加载

运行某些音频的推理

1. 下载 whisper 模型

mkdir models
# this might be one of:
# "tiny.en" "tiny" "base.en" "base" "small.en" "small" "medium.en" "medium" "large"
model=medium.en
curl --output models/ggml-$model.bin https://ggml.ggerganov.com/ggml-model-whisper-$model.bin

2. 从 rss 源下载示例音频

curl https://feed.jupiter.zone/link/19057/15745245/55bb5263-04be-43a3-8b92-678072a9cfc8.mp3 -L -o action.mp3

3. 安装 ffmpeg 并将其添加到 PATH 变量中。

4. 运行推理示例

cargo run --release --example=get_transcript -- models/ggml-medium.en.bin action_short.wav | tee output.txt