摘要
本文提出 Egocentric Co-Pilot,一种运行于智能眼镜的 Web 原生神经符号框架。该框架利用大语言模型协调感知、推理及 Web 工具集。其核心创新在于“自我中心推理引擎”,结合时序思维链与层级上下文压缩技术,有效支持基于连续第一人称视频的长程问答与决策,突破了单模型上下文窗口限制。此外,系统包含轻量级多模态意图层,将嘈杂语音与视线映射为结构化指令,并实现了云原生 WebRTC 流水线以整合流媒体与控制消息。实验表明,该方法在自我中心问答任务上达到最先进水平,且显著提升了用户任务完成率与满意度。
AI 推荐理由
论文核心提出自我中心推理内核,结合时序思维链与层级上下文压缩处理长程视频推理。
研究机构
深圳国际研究生院
清华大学
独立研究员
伦敦帝国学院
英国
伦敦玛丽女王大学
论文信息