腾讯混元大模型 AI之翼

腾讯混元大模型介绍

腾讯混元大模型是由腾讯全链路自研的通用大语言模型，拥有超千亿参数规模，预训练语料超 2 万亿 tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。

值得一提的是，腾讯混元大模型是一个“从实践中来，到实践中去”的实用级大模型。当前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等超过 50 个腾讯业务和产品，已经接入腾讯混元大模型测试，并取得初步效果。

腾讯混元助手小程序：微信中搜索“腾讯混元助手”或者扫描下方小程序码体验

全链路自研是腾讯混元大模型的首要特点。腾讯集团副总裁蒋杰介绍，腾讯混元大模型从第一个 token 开始从零训练，掌握了从模型算法到机器学习框架，再到AI基础设施的全链路自研技术。

腾讯在算法层面进行了一系列自研创新，提高了模型可靠性和成熟度。

针对大模型容易“胡言乱语”的问题，腾讯优化了预训练算法及策略，让混元大模型的幻觉相比主流开源大模型降低了 30% 至 50%；通过强化学习的方法，让模型学会识别陷阱问题；通过位置编码优化，提高了超长文的处理效果和性能；提出思维链的新策略，让大模型能够像人一样结合实际的应用场景进行推理和决策。

此外，腾讯还自研了机器学习框架 Angel，使训练速度相比业界主流框架提升 1 倍，推理速度比业界主流框架提升 1.3 倍。

得益于全链路自研技术，腾讯混元大模型能够理解上下文的含义，并且有长文记忆能力，可以流畅地进行专业领域的多轮对话。除此之外，它还能进行文学创作、文本摘要、角色扮演等内容创作，做到充分理解用户意图，并高效、准确地给出有时效性的答复。