剪辑：剪辑部 HYZ亚洲情色
【新智元导读】研发6年，耗资数百万，六届学霸悉力，上交牛力团队始创的图像合成器具箱libcom，论文、代码、数据集全开源。团队迎接诸君大佬共铸libcom，孝顺凸起者可享冠名权。
在AIGC 的波澜中，对已有图片作念剪辑的图像剪辑（image editing）时间受到了越来越多的温文。图像剪辑（image editing）的原子操作包括增、删、改。
「增」是指在图像中添加元素，该讨论标的叫作念图像合成（image composition）
「删」是指从图像中擦除元素，该讨论标的叫作念图像填充（image inpainting）
「改」是指改革图像中元素的属性，该讨论标的叫作念属性剪辑（attribute manipulation）
其余复杂的图像剪辑操作齐可回荡为「增」、 「删」、「改」这三个原子操作的组合，通过按照一定限定实践这些原子操作完成。
因此，图像合成（image composition）在图像剪辑的邦畿中三分六合居其一，在捏造本质、艺术创作、电商告白、数据增广等范畴有着鄙俗利用。
图像合成（image composition）的频繁用法是把一个远景物体插入到一张配景图片中，得到一张合成图。
然则通过浅近的剪切粘贴得到的合成图会存在诸多问题，齐可视为远景和配景之间的不一致性，包括外不雅不一致性、几何不一致性、语义不一致性。三种不一致性可进一步剖释成多少子问题（领域、光照、暗影、舍弃、遮挡、视角等等）。
为了处治这些子问题，好多子任务（图像和会、图像协调化、暗影生成、物体舍弃等等）被接踵提议，用于处治一个或多个子问题。
在图像合成中，不一致性（inconsistency）、子问题（issue）、子任务（sub-task）三者之间的联系如下图所示。
上述这些子任务不错串行（sequential pipeline）能够并行（parallel pipeline）实践，以处治远景和配景之间的不一致性，得到高质料合成图。
串行经由和并行经由如下图所示，绿勾和红叉默示是否实践该子任务。
给定一双配景图片和远景物体，串行经由先在配景中寻找远景物体的合理舍弃，通过图像羼杂处治领域不当然的问题，通过图像协调化处治前配景光照不协调的问题，通过暗影生成为远景物体在配景上生成合理的暗影。而并行经由在一个模子中同期实践多个子任务，径直输出最终的合成图。
并行经由也叫作念生成式图像合成，近两年跟着扩散模子的爆火而干涉各人的视线。
在这一范畴，上海交通大学牛力团队从2018年底就运转从事图像合成（image composition）范畴的讨论，从数据（10+原创数据集）到模子（30+原创模子）、论文（20+已发表论文），再到器具箱（libcom），历时六年，耗资数百万，由六届学生悉力完成。
所少见据集的每张图片都经过2~3东谈主视察，以严格保证数据集的质料。通盘模子的代码都经过2~3东谈主视察，以确保莫得严重的bug（要是有严重的bug请尽快打脸）。
实验室表情主页：github.com/bcmi
2023年底，团队推出了尽量无需视察微调、对任性图片开箱即用的图像合成器具箱libcom，该器具箱的风景亦然始创的，体现了他们对image composition范畴的领悟。
限度2024年10月，libcom仍是下载装配1.2万次。
器具箱地址：github.com/bcmi/libcom
因为图像合成旨在和会不同的图片元素，是以libcom的logo采用了半东谈主马的形象，即东谈主和马的和会，并添加了遮挡性的蓝圈和黄圈的和会。由于蓝色和黄色的过渡色是绿色，因此半东谈主马系上了一条绿色的腰带。
Libcom集成了图像合成的十几项功能，对图像合成齐全全地方隐蔽，每个功能礼聘了一到两个浅近有用的重要。
经过近一年的迭代，大多量功能的后果还免强。何况，每一个功能都有对应的仓库，仓库里有视察代码。
要是你发现某项功能在你的数据集上发达欠佳，很有可能是数据互异导致，用你汇注的视察数据微调模子，替换掉原本的checkpoint即可。
和libcom一同打包维持的还有awesome-image-composition（汇总了该范畴的论文、代码、数据集），在线demo（很久没更新了，不是最新模子）、以及一篇写了四年的survey（一年一更）。
偷拍英文
十二大功能全解
接下来交替先容libcom的十几项功能，涵盖了图像合成的方方面面：
1. get_composite_image
通过剪切粘贴、alpha和会和泊松和会羼杂远景配景。这些是最浅近的传统图像和会重要。
2. OPAScoreModel
输入合成图和远景掩码，判断远景物体的舍弃（位置、大小）是否合理。输出的分数介于[0，1]之间，1默示合理，0默示分歧理。
左边的合成图分数为1，右边的合成图分数为0
3. FOPAHeatMapModel
输入一双配景图片和远景物体，输出该物体按照不同尺寸放在配景图片不同位置得到的合成图的合感性分数。
假定有K个闹翻的远景物体尺寸，配景图片大小为H*W， 则输出H*W*K的热力争。
热力争上的每个像素对应一个舍弃的合感性分数，因此阐发热力争不错得回合理的远景物体舍弃框。
单个远景物体尺寸的热力争以及阐发热力争得到的远景物体舍弃框
4. color_transfer
传统的神采迁徙重要，用于将配景的神采迁徙到远景，适用于浅近场景的图像协调化。
合成图和神采迁徙后的收尾
5. ImageHarmonizationModel
输入合成图和远景掩码，图像协调化模子调遣远景的光照使其与配景协调，输出协调化收尾。
6. PainterlyHarmonizationModel
艺术图像协调化与图像协调化肖似，区别在于配景是艺术图片。
输入合成图和远景掩码，艺术图像协调化模子调遣远景的立场（神采、纹理、笔触等）使其与配景一致，输出协调化收尾。
7. HarmonyScoreModel
输入合成图和远景掩码，判断远景和配景的光照是否匹配，输出远景与配景的协调化分数。分数介于[0，1]之间，1默示协调，0默示不协调。
左边的合成图分数为0.25，右边的合成图分数为0.72
8. InharmoniousLocalizationModel
输入一张图片，输出该图片不协调区域的掩码。
合成图和模子预测的不协调区域
9. FOSScoreModel
输入一张合成图，预测远景和配景在几何和语义上的适配性分数，包括远景和配景的透视角度是否一致、远景物体的语义高下文是否合理等等。输出的适配性分数介于[0，1]之间，1默示适配，0默示不适配。
10. ShadowGenerationModel
输入一张合成图和远景掩码，为远景物体在配景上生成合理的暗影。该功能不是很牢固，频繁随即生成5张会有1~2张的暗影风景较好。
随即采样5次生成的收尾
11. ControlComModel
输入一双配景图片和远景物体，把远景物体插入配景图片指定位置（黄色领域框），保握远景物体的姿态不变，作念图像和会能够图像协调化。两者的区别在于图像协调化需要进一门径整远景物体的光照使其与配景协调。
12. MureObjectStitchModel
输入一双配景图片和远景物体（支撑多张参考图），把远景物体插入配景图片指定位置（黄色领域框），调遣远景物体的姿态和光照，得到合理的合成图。
模子关于细勤俭略的物体和常见物体后果较好。关于细节复杂的物体，建议用远景物体的5~10张图片花10分钟微调模子，细节保留才调会有大幅栽植。
同期，团队还提供了微调模子的代码，微调模子之后替换原本的checkpoint即可。
异日斟酌
回来来说，Libcom还有好多不及，还有好多事情要作念，比如数据集膨胀、模子调优、添加新功能、支撑任性差异率、工程优化、推理加快、跨平台迁徙、版块升级迭代、用户界面等等。
团队默示，迎接对图像合成（image composition）感敬爱的大佬们斥地使命亚洲情色，共铸libcom，提供资金、数据、东谈主力、时间等方面的支撑，并加入孝顺者名单。要是孝顺突出凸起，不错享有冠名权（比如JackLibcom， PonyLibcom）。