动漫

AI 生成图集为什么角色总对不上:三处结构性缺陷

0
Please log in or register to do it.
AI 生成图集为什么角色总对不上:三处结构性缺陷
阅读量:20

同一套 AI 图集,翻到第三张脸就换了人。原因不在模型画得差,而在它从头到尾锁的是“这张脸像谁”,不是“这个角色是谁”。

一念永恒 杜血梅 二次元角色图集
一念永恒 公孙婉儿 二次元AI绘画图集

2024 年公开的 ConsiStory 论文做过一次对照实验:100 组提示词、每组 5 张图,用 DreamSim 量主体一致性、用 CLIP 量文本贴合度。结果里有一组分数很刺眼。

一、0.84 和 0.55 为什么会同时长在一个方案上

方案 主体一致性 文本相似度
IP-Adapter 0.84 0.55
ConsiStory 0.78 0.62
LoRA DreamBooth 0.70 0.63
SDXL(基线) 0.65 0.63

IP-Adapter 的主体一致性 0.84,是这组里最高的;文本相似度 0.55,是最低的。SDXL 反过来:一致性 0.65、文本 0.63。Textual Inversion 落在 0.66 和 0.62 之间。同一套评测里,一致性和“听话程度”基本是反着走的。

两个口径为什么打架,论文自己给了归因:基于图像编码器的方法会 overfit 到外观(visual appearance)上。换句话说,它记住的是那张参考图长什么样,不是这个人物有哪些改不掉的设定。所以换姿势,脸跟着变;换服装,发色跟着变。官方演示图上脸对得上,是因为演示只换了背景。

还要认清这两个数在量什么。DreamSim 量的是两张图“看起来像不像”,CLIP 量的是图和文字的贴合,两个指标都不做人脸识别,也不比对设定。所以 0.84 的准确含义是“看起来很像”,不是“是同一个人”。拿它当角色一致性的证据,本身就把口径放大了一档。

二、缺陷一:参考图锁得住外观,锁不住身份

DreamBooth(CVPR 2023)的做法是给 3 到 5 张同一主体的照片,把主体绑到一个稀有 token 上,再用 class-specific prior preservation loss 压住语言漂移——防止模型学完一个角色之后,把整类都画成它。这条路线成立的前提,是那 3 到 5 张覆盖了足够的角度。

图集作者手里通常只有官方立绘:正面、半身、白底、同一个姿势。样本里没有侧脸,模型就只能拿“这一类脸”去补。于是第二张是侧脸时,五官比例往平均脸靠;第三张换了光源,瞳色跟着偏。

站内 208 篇 AI 图集里,标题挂作品名的和画面真能对上角色的,不是同一批。这个差不是换模型能解决的,是补样本才能解决的。像一念永恒公孙婉儿那套 AI 绘画图集,服饰和发色是稳的,因为它参考的是同一张立绘;而奢华自画像那套走的是氛围路线,人物本身就是原创,不承担“像谁”的义务。

三、缺陷二:一句话里放两个主体,属性会串

Attend-and-Excite(CVPR 2023)指出,扩散模型的 cross-attention 不保证覆盖 prompt 里的每个主语,颜色、配饰、材质这类属性会被分配到错误的对象上。图集 prompt 越写越细,出错点就越多:写“她持剑站在他前面”,剑可能长到他手上;写“银发、红瞳、黑披风”,红瞳可能被涂到披风上。

这不是提示词工程能修的。属性绑定的失败发生在注意力分配那一层,提示词只是往那一层投喂文本;写细了,槽位变多,串的概率反而上去。真正的做法是把多主体拆成多张单主体,再用参考图对齐——代价是每张都要重新锁定一次。

后期修图还有一个常被忽略的加法:局部重绘是重新采样。改一只手、改一条袖口,整张图会重新走一遍去噪,被改的区域之外也会轻微变化。修五处,人物就漂五次,这是“越修越不像”的来源,跟模型强弱关系不大。

四、缺陷三:标识管的是“知道是 AI”,不管“像不像同一个角色”

GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》2025 年 2 月 28 日发布、9 月 1 日实施,是强制性国标,由中央网信办归口;配套的《人工智能生成合成内容标识办法》2025 年 3 月 14 日发布,同样在 9 月 1 日施行。标准把标识分成显式与隐式两类,隐式标识写进文件元数据。

这套规则解决的是“这张图是不是 AI 做的”,不是“这张图里的人是不是同一个”。一篇标注完全合规的 AI 图集,角色照样可以对不上。合规与一致性是两条互不校验的线,指望监管帮你筛图,会失望。

五、什么情况下上面三条不成立

第一条反例是一次性批量生成:同一 prompt、同一种子、只换背景色,一致性会好到肉眼看不出差别。缺陷只在“分批生成再拼接”时暴露,而图集恰恰是分批拼的。

第二条反例是作者自己训了角色 LoRA。LoRA DreamBooth 的一致性 0.70 高于 SDXL 的 0.65,仍然低于 IP-Adapter 的 0.84,但它是用牺牲一点听话程度换来的稳定,对图集这种“要同一张脸出现二十次”的场景反而更实用。

我的结论会错的地方在这里:我把“角色对不上”整体归给了生成机制。但站内还有相当一部分是标注错——图是原创角色,被挂上了作品名。这一类不归模型,归编辑,而且三条缺陷一条都解释不了。看到对不上的时候,先分清楚是画错了,还是从一开始就标错了。

高达模型五个级别的价钱与工期对照
女骑士与铠甲图集 19 套:重甲和轻甲怎么分
您必须 登录 后才能评论。