1 个不稳定版本

0.0.1 2024年5月30日

#14#stories

MIT 许可证

455KB
8K SLoC

progscrape

progscrape.com 是Hacker News、Reddit、Lobste.rs和Slashdot的抓取器。它包含一个简单的排名/标记引擎,试图在首页上保持有趣的故事的良好混合。

Rust

Rust代码分为三个项目

每个子项目的文档将在某个时候可用。

运行

初始化服务器索引

SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=.

从一组备份抓取中加载

SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=. backup/????-??.json

在CloudFlare访问隧道后面运行服务器

SERVER_LOG="debug,tantivy=info" cargo run -- serve --auth-header 'cf-access-authenticated-user-email'

在本地主机上完全独立运行服务器

SERVER_LOG="debug,tantivy=info" cargo run -- serve --fixed-auth-value 'username@example.com'

历史

该应用程序之前被设计为在Google的AppEngine上运行,负载足够低,可以保持在免费层。我们进行了相当多的缓存,并尽可能避免交互,以实现这一点。当前的最后一个Python版本在Python 2.7上运行,仅仅是因为在AppEngine上迁移到Python 3.x是一个巨大的任务。

Android

还有一个开源的Android应用程序

依赖项

~70MB
~1M SLoC