腾讯混元开源角色定制化图像生成插件：InstantCharacter！兼容Flux ！

腾讯混元今日宣布开源定制化图像生成插件 InstantCharacter，并实现了对开源文生图模型 Flux 的兼容。

通过这个插件，只需要一张图加一句话，你可以让任何角色以你想要的姿势出现在任何地方。

例如上传这张图片：

输入提示词：a  rabbit is in the kitchen holding a spoon and drinking soup

就能得到:

还可以再次输入提示词：a rabbit in the city,cyberpunk

也就是说，你想要图片主角出现在哪儿只需要一句提示词就能搞定。

角色一致性是多轮文生图场景中的一大难题。

InstantCharacter 的优势在于可以确保角色在不同场景中的一致性和真实性、画质和精度高，同时具有灵活的文本编辑性，用户可以根据需要灵活切换任意场景，让人物生成任意动作。

腾讯混元团队发布的技术报告中比较了多个模型的效果。可以发现，开源的InstantCharacter实现的效果媲美GPT 4o等业界领先模型。

从技术上看，现有基于学习的方法主要依赖于 U-Net 架构，但在泛化能力和图像质量上存在局限性，而基于优化的方法则需要针对特定主体进行微调，这不可避免地降低了文本可控性。

为了解决这些挑战，InstantCharacter 利用DiT模型构建了一个创新的框架。框架引入了一个可扩展的适配器（adapter），采用多个transformer encoder，能够有效处理开放域的角色特征，并与现代扩散变换器的潜在空间无缝交互。这种设计使得系统能够灵活适应不同的角色特征。

项目官网：https://instantcharacter.github.io/

GitHub：https://github.com/Tencent/InstantCharacter