通义千问 QwQ-32B 推理模型开源:32B 尺寸实现性能突破,消费级显卡可本地部署

3 月 6 日,阿里云正式发布并开源全新的推理模型通义千问 QwQ-32B。该模型通过大规模强化学习,在数学、代码及通用能力上实现了质的飞跃,整体性能比肩全球最强开源推理模型 DeepSeek-R1。同时,QwQ-32B 大幅降低了部署使用成本,在消费级显卡上即可实现本地部署。

图片[1]-通义千问 QwQ-32B 推理模型开源:32B 尺寸实现性能突破,消费级显卡可本地部署-牛仔AI

性能比肩全球最强开源推理模型

QwQ-32B 是阿里探索推理模型的最新成果。在冷启动基础上,通义团队针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,在 32B 的模型尺寸上获得了令人惊喜的推理能力提升,验证了大规模强化学习可显著提高模型性能。

在一系列权威基准测试中,QwQ-32B 表现异常出色:在测试数学能力的 AIME24 评测集上,以及评估代码能力的 LiveCodeBench 中,表现与 DeepSeek-R1 相当,远胜于 OpenAI-o1-mini 及相同尺寸的 R1 蒸馏模型;在由 Meta 首席科学家杨立昆领衔的 “最难 LLMs 评测榜” LiveBench、谷歌等提出的指令遵循能力 IFEval 评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的 BFCL 测试中,得分均超越了 DeepSeek-R1。

消费级显卡即可本地部署

QwQ-32B 既能提供极强的推理能力,又能满足更低的资源消耗需求,非常适合快速响应或对数据安全要求高的应用场景。开发者和企业可以在消费级硬件上轻松将其部署到本地设备中,进一步打造高度定制化的 AI 解决方案。

此外,QwQ-32B 模型中还集成了与智能体 Agent 相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。通义团队表示,未来将继续探索将智能体与强化学习的集成,以实现长时推理,探索更高智能进而最终实现 AGI 的目标。

多种模型调用方式

目前,QwQ-32B 已在魔搭社区、HuggingFace 等平台基于宽松的 Apache2.0 协议开源,所有人都可免费下载模型进行本地部署,或者通过阿里云百炼平台直接调用模型 API 服务。

对于云端部署需求,用户可通过阿里云 PAI 平台完成快速部署,并进行模型微调、评测和应用搭建;或是选择容器服务 ACK 搭配阿里云 GPU 算力(如 GPU 云服务器、容器计算服务 ACS 等),实现模型容器化部署和高效推理。

开源地址

Qwen Chat 免费体验

https://chat.qwen.ai/?models=Qwen2.5-Plus

从 2023 年至今,通义团队已开源 200 多款模型,包含大语言模型千问 Qwen 及视觉生成模型万相 Wan 等两大基模系列,开源囊括文本生成模型、视觉理解 / 生成模型、语音理解 / 生成模型、文生图及视频模型等 “全模态”,覆盖从 0.5B 到 110B 等参数 “全尺寸”,屡次斩获 Chatbot Arena、司南 OpenCompass 等权威榜单 “全球开源冠军”“国产模型冠军”。截至目前,海内外 AI 开源社区中千问 Qwen 的衍生模型数量突破 10 万,超越美国 Llama 系列模型,成为全球最大的开源模型族群。

© 版权声明
THE END
您的赞美是我们持续创作/分享的动力,欢迎点赞/分享/关注。
点赞14 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容