摘要
本文挑战了自训练导致语言“扁平化”的传统观点,提出语言实被“重构”。通过对五种模型进行十一代自训练实验,发现话语连接词等表面标记增加,而疑问句、被动语态等中深层句法结构崩塌。作者提出“结构深度假说”,指出特征衰减速率主要取决于其句法嵌套深度而非初始频率。研究揭示了“表面复杂性悖论”,即整体复杂度指标上升掩盖了底层从句结构的死亡,对数据清洗及检测具有重要意义。
AI 推荐理由
论文核心研究自训练导致的模型语言结构演化与退化机制,属于自我进化范畴。
研究机构
Amazon
论文信息