19 个版本
0.3.25 | 2024 年 8 月 7 日 |
---|---|
0.3.24 | 2024 年 8 月 6 日 |
0.3.23 | 2024 年 7 月 30 日 |
0.3.20 | 2024 年 5 月 27 日 |
0.1.0 | 2024 年 2 月 11 日 |
169 在 机器学习 中排名
811 每月下载量
79KB
2K SLoC
tlparse: 解析结构化 PT2 日志
tlparse
解析结构化的 torch 追踪日志,并输出分析数据的 HTML 文件。
快速开始:设置 TORCH_TRACE 环境变量后运行 PT2
TORCH_TRACE=/tmp/my_traced_log example.py
将输入数据喂入 tlparse
tlparse /tmp/my_traced_log -o tl_out/
添加自定义解析器
您可以使用自定义解析器扩展 tlparse,这些解析器接受现有的结构化日志数据并输出任何文件。为此,首先实现具有您自己的特质的 StructuredLogParser
pub struct MyCustomParser;
impl StructuredLogParser for MyCustomParser {
fn name(&self) -> &'static str {
"my_custom_parser"
}
fn get_metadata<'e>(&self, e: &'e Envelope) -> Option<Metadata<'e>> {
// Get required metadata from the Envelope.
// You'll need to update Envelope with your custom Metadata if you need new types here
....
}
fn parse<'e>(&self,
lineno: usize,
metadata: Metadata<'e>,
_rank: Option<u32>,
compile_id: &Option<CompileId>,
payload: &str
) -> anyhow::Result<ParserResult> {
// Use the metadata and payload however you'd like
// Return either a ParserOutput::File(filename, payload) or ParserOutput::Link(name, url)
}
}
依赖项
~9–19MB
~230K SLoC