2个不稳定版本
0.2.0 | 2022年8月30日 |
---|---|
0.1.0 | 2022年8月9日 |
#581 在 压缩 中
在 hst-tw-db 中使用
28KB
427 行
Hassreden-Tracker
该仓库目前正用于协调Hassreden-Tracker项目的开发工作。这意味着在近期内,问题跟踪器将是该仓库中最有趣的部分,尽管最终部分代码将迁移到这里。
项目
该项目基于我维护的几个现有的开源项目(所有这些项目都依赖于其他开源项目)
- cancel-culture:用于Twitter存档、索引和黑名单管理的工具。
- wayback-rs:用于操作Wayback Machine的Rust库。
- twitter-watch:关于屏幕名称更改和暂停的报告。
- twitter-tracker:生成twitter-watch报告的服务(目前为私有)。
- evasion:跟踪极右翼绕过禁令账户的报告。
- egg-mode-extras:用于处理Twitter API的速率限制感知异步流。
- orcrs:用于Rust的Apache ORC文件读取库。
- hkvdb:基于RocksDB构建的键值存储接口。
- twpis:Twitter资料图片集合。
- memory.lol:提供历史Twitter账户信息的网络服务(目前为私有)。
- stop-the-steal:与“停止盗窃”运动相关的Twitter用户的970万份资料快照。
- octocrabby:GitHub账户的黑名单管理。
原则
技术
大部分代码是用Rust编程语言编写的。我选择主要用Rust来构建这个软件,有几个原因。
- Rust社区的价值观念与我的价值观相一致。
- Rust对性能的关注对资源有限的组织或个人运营的项目来说尤其宝贵。
关于第二个问题:以下几乎所有工具和服务都可以在最小的也是最便宜的亚马逊网络服务EC2实例上有效运行,例如。
服务条款合规性
我们的目标是确保上述所有项目都符合它们访问的任何平台的《服务条款》。
在大多数情况下,数据是从公开的公共档案和其他公共资源收集的,例如Archive Today,Wayback Machine和Internet Archive的Twitter Stream Grab。
其中一些项目确实有限度地使用了平台API(例如Twitter API)。这包括收集、存档和发布公开的追随者关系、平台ID、内容状态(例如推文是否被删除)和屏幕名。
具体来说,上述所有工具目前都没有存储通过Twitter API访问的推文。如果将来我们支持通过Twitter API存档或发布推文,我们将尊重Twitter API《服务条款》中的删除要求。
许可和分发
除了会损害核心项目目标或项目成员的隐私或安全的情况外,所有代码和数据都是公开的。
这些项目中的大多数都是在Mozilla公共许可证下发布的。一些可能被用于商业监控的项目是在反资本主义软件许可证下发布的。
Rust库发布到crates.io,这是一个广泛使用的Rust软件包注册库。
依赖项
~12–23MB
~342K SLoC