摘要
本文提出 VectraYX-Nano,一个从头训练的 4200 万参数西班牙语解码器-only 模型,专注于网络安全并支持通过模型上下文协议(MCP)进行原生工具调用。主要贡献包括:构建涵盖对话、网络安全及进攻性安全工具的三阶段课程学习语料;设计包含 GQA 和 RoPE 等技术的轻量架构;利用回放缓冲区的持续预训练实现损失单调下降;发现纳米尺度下工具选择能力受语料密度而非容量限制。该模型实现了端到端 MCP 集成,并在普通硬件上高效运行。
AI 推荐理由
论文核心贡献在于构建包含工具使用轨迹的语料及实现原生工具调用能力,直接针对技能学习。
研究机构
Globant
论文信息