self-training model collapse linguistic evolution syntax analysis
摘要

本文挑战了自训练导致语言“扁平化”的传统观点,提出语言实被“重构”。通过对五种模型进行十一代自训练实验,发现话语连接词等表面标记增加,而疑问句、被动语态等中深层句法结构崩塌。作者提出“结构深度假说”,指出特征衰减速率主要取决于其句法嵌套深度而非初始频率。研究揭示了“表面复杂性悖论”,即整体复杂度指标上升掩盖了底层从句结构的死亡,对数据清洗及检测具有重要意义。

AI 推荐理由

论文核心研究自训练导致的模型语言结构演化与退化机制,属于自我进化范畴。

研究机构
Amazon
论文信息
作者 Ming Liu
发布日期 2026-05-20
arXiv ID 2605.20602
相关性评分 9/10 (高度相关)