LLM 评估 工程推理 高超声速 基准测试 安全关键系统
摘要

针对安全关键型航空航天工程中大型语言模型(LLM)作为推理助手的需求,本文提出了 TPS-CalcBench,这是首个专注于高超声速空气动力学和高温气体动力学闭式解析计算的诊断基准。该基准构建了包含四个难度等级和八个类别的任务分类体系,采用双轨评估机制,通过八维评分标准和校准法官同时衡量结果准确性与推理质量,以识别“答案正确但推理错误”的关键失效。研究还建立了人机协作数据流水线,并提出了三种诊断干预方法:DFA-TPS 微调、RAG-EQ 检索 grounding 和 PA-CoT 过程感知提示,为安全关键工程领域的 LLM 部署提供了完整的诊断 - 评估 - 干预框架。

AI 推荐理由

论文聚焦高超声速工程中的解析计算推理,提出评估框架与干预方法,核心在于提升推理质量。

研究机构
School of Civil Engineering, Beijing Jiaotong University
论文信息
作者 Jinglai Zheng, Chuhan Qiao, Haiming Huang
发布日期 2026-04-20
arXiv ID 2604.17966
相关性评分 9/10 (高度相关)