#log-parser #logs #pytorch #structured #compile #data #produced

bin+lib tlparse

解析 PyTorch torch.compile 生成的 TORCH_LOG 日志

19 个版本

0.3.25 2024 年 8 月 7 日
0.3.24 2024 年 8 月 6 日
0.3.23 2024 年 7 月 30 日
0.3.20 2024 年 5 月 27 日
0.1.0 2024 年 2 月 11 日

169机器学习 中排名

Download history 108/week @ 2024-05-04 85/week @ 2024-05-11 347/week @ 2024-05-18 218/week @ 2024-05-25 146/week @ 2024-06-01 61/week @ 2024-06-08 42/week @ 2024-06-15 87/week @ 2024-06-22 159/week @ 2024-06-29 133/week @ 2024-07-06 224/week @ 2024-07-13 112/week @ 2024-07-20 223/week @ 2024-07-27 311/week @ 2024-08-03 124/week @ 2024-08-10 134/week @ 2024-08-17

811 每月下载量

BSD-3-Clause

79KB
2K SLoC

tlparse: 解析结构化 PT2 日志

tlparse 解析结构化的 torch 追踪日志,并输出分析数据的 HTML 文件。

快速开始:设置 TORCH_TRACE 环境变量后运行 PT2

TORCH_TRACE=/tmp/my_traced_log example.py

将输入数据喂入 tlparse

tlparse /tmp/my_traced_log -o tl_out/

添加自定义解析器

您可以使用自定义解析器扩展 tlparse,这些解析器接受现有的结构化日志数据并输出任何文件。为此,首先实现具有您自己的特质的 StructuredLogParser

pub struct MyCustomParser;
impl StructuredLogParser for MyCustomParser {
    fn name(&self) -> &'static str {
        "my_custom_parser"
    }
    fn get_metadata<'e>(&self, e: &'e Envelope) -> Option<Metadata<'e>> {
        // Get required metadata from the Envelope.
        // You'll need to update Envelope with your custom Metadata if you need new types here
        ....
    }

    fn parse<'e>(&self,
        lineno: usize,
        metadata: Metadata<'e>,
        _rank: Option<u32>,
        compile_id: &Option<CompileId>,
        payload: &str
    ) -> anyhow::Result<ParserResult> {
       // Use the metadata and payload however you'd like
       // Return either a ParserOutput::File(filename, payload) or ParserOutput::Link(name, url)
    }
}

依赖项

~9–19MB
~230K SLoC