#data-loader #load #thread-local #stealing #handler #loading #deques

已删除 deque-loader-derive

通过工作窃取和线程局部双端队列实现高效数据加载

0.1.0-beta.3 2021年7月31日

#8 in #stealing


用于 deque-loader

MIT 协议

6KB
90

Channel Loader

License Cargo Documentation

一个围绕最佳负载批处理和连接利用率设计的工作窃取数据加载器。与其他数据加载器使用yield收集负载批次的做法不同,负载被入队到线程局部双端队列,并派生出任务处理程序以满足容量。由于同一请求内的字段解析器已经安排好了,因此同一请求内的后续负载将在负载任务处理程序获取任务分配之前进行安排,并在连接获取时,所有负载请求都将被捕获,并且可以灵活地将来自不同请求的负载一起批处理,而不引入超时开销。

依赖项

~4MB
~81K SLoC