1 个不稳定版本
0.0.1 | 2024年5月30日 |
---|
#14 在 #stories
455KB
8K SLoC
progscrape
progscrape.com 是Hacker News、Reddit、Lobste.rs和Slashdot的抓取器。它包含一个简单的排名/标记引擎,试图在首页上保持有趣的故事的良好混合。
Rust
Rust代码分为三个项目
每个子项目的文档将在某个时候可用。
运行
初始化服务器索引
SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=.
从一组备份抓取中加载
SERVER_LOG="debug,tantivy=info" cargo run -- initialize --persist-path target/index --root=. backup/????-??.json
在CloudFlare访问隧道后面运行服务器
SERVER_LOG="debug,tantivy=info" cargo run -- serve --auth-header 'cf-access-authenticated-user-email'
在本地主机上完全独立运行服务器
SERVER_LOG="debug,tantivy=info" cargo run -- serve --fixed-auth-value 'username@example.com'
历史
该应用程序之前被设计为在Google的AppEngine上运行,负载足够低,可以保持在免费层。我们进行了相当多的缓存,并尽可能避免交互,以实现这一点。当前的最后一个Python版本在Python 2.7上运行,仅仅是因为在AppEngine上迁移到Python 3.x是一个巨大的任务。
Android
还有一个开源的Android应用程序。
依赖项
~70MB
~1M SLoC