FlashFace是一款由阿里巴巴、香港大学和蚂蚁集团联合开发的高保真AI写真工具。用户只需提供一张或几张参考面部图像和文本提示,即可轻松实现个性化照片生成。FlashFace能够精确保留参考人脸的特征,包括纹身、疤痕等,并适用于多种应用场景,如人脸交换、虚拟角色转换等。
高保真度身份保留:能够精确地保留参考人脸的特征,包括罕见的脸型、纹身和疤痕等。
多样化的个性化结果:可以产生多样的人像个性化结果,如改变年龄、性别,将虚拟角色转换为真人等。
语言控制面部交换:支持按照语言提示进行人脸交换,操作简便。
优点:
高保真度:能够精确地保留和复制参考人脸的特征。
多样化应用:适用于多种场景,包括人脸交换、虚拟角色转换等。
简便易用:用户只需上传参考图像和提供文本提示,即可生成个性化照片。
缺点:
可能存在对某些特定特征的识别不准确或无法识别的情况。
对于非常罕见或复杂的面部特征,可能无法完全保留。
主要应用场景?
个性化人脸图像生成:为用户提供定制化的人脸图像生成服务。
虚拟角色转换:将虚拟角色转换为真实人脸,增加真实感。
语言提示下的人脸交换:根据用户提供的语言提示,进行人脸交换操作。
如何使用FlashFace?
上传一张或多张参考面部图像。
提供文本提示,如年龄、性别、表情等。
调整参数,如人脸方位、参考特征强度等。
点击运行,生成个性化人脸图像。
FlashFace的训练方法?
在训练过程中,随机选择ID聚类,并从每个聚类中选择多张图像。裁剪人脸区域作为参考,并留下一张作为目标图像。该目标图像用于计算损失。通过引入解纠缠集成策略,在文本到图像生成过程中平衡文本和图像引导,以缓解参考面和文本提示之间的冲突。
FlashFace的框架结构?
FlashFace的整体框架基于广泛使用的SD-V1.5项目。它采用了U-Net进行去噪,并引入CLIP的语言分支来编码语言提示,然后使用交叉注意力操作进行整合。显著特点是包括了FaceReferenceNet,该网络提取保留空间形状的详细面部特征,并使用额外的参考注意力层将其整合到网络中。