progscrape

progscrape.com 是 Hacker News、Reddit、Lobste.rs 和 Slashdot 的抓取器。它包含一个简单的排名/标记引擎，试图在首页保持有趣故事的多样性。

Rust

Rust 代码分为三个项目

• 抓取器
• 应用
• 网络

每个子项目的文档将在某个时候提供。

运行

初始化服务器索引

SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=.

从一组备份抓取中加载

SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=. backup/????-??.json

在 CloudFlare 访问隧道后面运行服务器

SERVER_LOG="debug,tantivy=info" cargo run -- serve --auth-header 'cf-access-authenticated-user-email'

在本地主机上完全独立运行服务器 localhost

SERVER_LOG="debug,tantivy=info" cargo run -- serve --fixed-auth-value 'username@example.com'

历史

该应用之前被设计为在 Google 的 AppEngine 上运行，负载足够低，可以保持在免费层。我们有很多缓存，并尽可能避免交互性，使其成为可能。当前的 Python 版本 运行在 Python 2.7 上，仅因为 Python 3.x 在 AppEngine 上是一个巨大的任务。

Android

还有一个开源的 Android 应用。