摘要
大语言模型在代码生成和推理方面表现优异,但其在数字波形数据上的时间推理能力尚待探索。本文提出 WaveformQA,一个用于评估 LLM 时间推理能力的开源问答基准。该基准包含 360 个问题,涵盖多信号关联和事件排序等八类难度各异的任务,基于真实硬件行为生成。评估显示,模型在简单查询上表现尚可,但在复杂时间和多步问题上因上下文限制和推理困难而性能下降。此外,研究发现采用事件时间 JSON 表示法比传统 VCD 格式更能提升推理准确率。
AI 推荐理由
论文核心是评估和提升 LLM 在数字波形上的时间推理能力,直接针对推理机制。
研究机构
Tenstorrent, Austin, TX, USA
论文信息