Temporal Reasoning Benchmark Digital Waveforms Hardware Verification
摘要

大语言模型在代码生成和推理方面表现优异,但其在数字波形数据上的时间推理能力尚待探索。本文提出 WaveformQA,一个用于评估 LLM 时间推理能力的开源问答基准。该基准包含 360 个问题,涵盖多信号关联和事件排序等八类难度各异的任务,基于真实硬件行为生成。评估显示,模型在简单查询上表现尚可,但在复杂时间和多步问题上因上下文限制和推理困难而性能下降。此外,研究发现采用事件时间 JSON 表示法比传统 VCD 格式更能提升推理准确率。

AI 推荐理由

论文核心是评估和提升 LLM 在数字波形上的时间推理能力,直接针对推理机制。

研究机构
Tenstorrent, Austin, TX, USA
论文信息
作者 Yichuan Liu, Daniel Cummings, Nick Vadlamudi
发布日期 2026-07-22
arXiv ID 2607.20638
相关性评分 9/10 (高度相关)