智东西
作者 | 王涵
编辑 | 云鹏
智东西1月28日报道,今天,腾讯混元图像3.0图生图版本正式开源。在最新的LMArena图片编辑榜单上,腾讯混元图像3.0图生图位列全球第七,也是前七名里面唯一开源的模型。
▲LMArena图片编辑榜单(来源:LMArena)
LMArena官方X祝贺混元图像3.0图生图“在图片编辑榜单中与Nano-Banana和Seedream-4.5等表现相当”。
▲LMArena官方祝贺推文(来源:X)
混元图像3.0图生图支持增、删、改、风格变换、老照片修复、人物与文字修改等图片编辑功能,还可以将多张照片中的元素提取出来合成新图片。
1月26日,该模型在元宝上线,已经被网友玩出“花”了:
智东西也第一时间上手体验,发现该模型可以保持前后素材元素风格的一致性,对照片细节把握准确,思考响应速度也较快,可玩性确实很高。
▲混元图像3.0图生图开源页面(来源:Hugging Face)
开源地址:
Github:
https://github.com/Tencent-Hunyuan/HunyuanImage-3.0
Hugging Face:
https://huggingface.co/tencent/HunyuanImage-3.0-Instruct
Hugging Face(蒸馏版):
https://huggingface.co/tencent/HunyuanImage-3.0-Instruct-Distil
一、融合理解、推理与生成:混元图像3.0图生图“先思考后编辑”
据官方介绍,混元图像3.0图生图采用混合专家原生多模态架构,总参数规模达80B,激活参数约13B。
训练过程中,混元团队构建了千万量级的图生图数据,覆盖80多个任务,并注入了思维链数据,使模型能够学会先分析用户图像和意图,再输出详细编辑指令。
后训练阶段则采用自研MixGRPO算法,对齐用户偏好,大幅提升了指令响应和非编辑区域保持一致的效果。
▲混元图像3.0图生图架构
在多模态方面,混元图像3.0图生图版本基于混元图像3.0的原生多模态架构构建,将文本理解、视觉理解与图像生成融合于同一模型中。
作为原生多模态模型,混元图像3.0图生图核心创新在于其“先思考,后编辑”的工作流程。
当接收到用户输入的图片和提示词后,模型会首先理解图像内容,然后基于提示词进行推理,确定需要编辑的区域、详细步骤以及需要保留的区域,最终形成更加详细的编辑指令。
▲混元图像3.0图生图思考过程
混元图像3.0图生图支持增、删、改、风格变换、老照片修复、人物与文字修改等图片编辑功能,还可以将多张照片中的元素提取出来合成新图片。
对于普通用户,该模型可用于制作表情包、虚拟人物合拍、社交分享等日常场景。对于专业用户,它能够助力电商海报设计、游戏角色定制、创意图片制作等专业领域,提升创作效率。
二、体验混元图像3.0图生图:一句话快速P图、一键实现产品实穿效果
1月26日,混元图像3.0图生图版已经上线元宝,可以在元宝中直接对话使用。
智东西第一时间上手体验,发现该模型可以保持前后素材元素风格的一致性,对照片细节把握准确,思考响应速度也较快。
例如,我们上传一张《蒙娜丽莎的微笑》的图片和一只小猫的照片,让元宝把这只小猫P到蒙娜丽莎的怀里:
不到一分钟,元宝就完成了P图,P后的图片中的小猫元素和蒙娜丽莎与原图保持一致,且手臂部分的前后透视关系也十分准确。
我们还可以让元宝给我们换一套妆造,替我们去颐和园滑冰:
可以看到,仅凭借“颐和园”三个字,该模型就准确地生成了颐和园的佛香阁作为背景。冰面的裂纹和在冰上滑冰的人群都十分逼真。
此外,在电商领域,用户还可以直接用豆包生成产品图。该模型可以参考指定风格,快速生成所需的电商海报,且可以自由更换海报背景:
用户还能直接将产品合成到模特身上,生成自然真实的产品上身效果图,能够大幅减少电商设计的工作量:
结语:腾讯混元开源家族再壮大,“视觉生成时代”加速到来
据腾讯混元官方分享,截止目前,腾讯混元的图像、视频衍生模型数量总数达到3000个,视频模型社区下载量超过500万,混元3D系列模型社区下载量超过300万。
混元图像3.0图生图模型的开源,在壮大了腾讯开源家族的同时,也为全球开发者社区提供了一个图像生成的新选择,或许将加速AI图像编辑向更广泛日常应用的落地。
一个功能更全面、创作更便捷、人人可参与的视觉生成时代正在加速到来。