摘要
本文提出大语言模型的晶格表示假设:一种将概念层次和逻辑操作植根于嵌入几何的符号骨干。该框架统一了线性表示假设与形式概念分析(FCA),表明具有分离阈值的线性属性方向通过半空间交集诱导概念晶格。这种几何结构允许通过几何交(intersection)和并(union)操作进行符号推理,并在属性方向线性独立时承认规范形式。在 WordNet 子层次上的实验提供了经验证据,证明 LLM 嵌入编码了概念晶格及其逻辑结构,揭示了连续几何与符号抽象之间的原则性桥梁。
AI 推荐理由
论文提出晶格表示假设,揭示嵌入几何如何支持符号推理,核心聚焦推理机制。
研究机构
斯坦福大学,美国
论文信息