企业网站建设 建立作用医院英文网站建设

企业网站建设 建立作用,医院英文网站建设,app在线生成网站,闵行区最新消息code#xff1a;UniAVGen - Unified Audio and Video Generation 介绍 解决的问题#xff1a;现在很多开源“音频-视频生成”要么是两段式#xff1a;先出视频再配音#xff08;或反过来#xff09;#xff0c;要么是“端到端”但对人声#xff08;尤其是说话、情绪、…codeUniAVGen - Unified Audio and Video Generation介绍解决的问题现在很多开源“音频-视频生成”要么是两段式先出视频再配音或反过来要么是“端到端”但对人声尤其是说话、情绪、音色很弱。两段式最大毛病是生成时模态是解耦的视频在“听不见”的环境里生成音频在“看不见”的环境里生成于是常见问题是口型对不上lip sync语气/情绪和表情/动作不一致音色/身份信息不稳这人看起来像 A说出来像 B他们要做的是一个统一模型同时支持三类关键任务图1文本 人脸参考图 → 同时生成音频和视频给定视频 → 配音dubbing给定音频 → 音频驱动视频talking / motion方法总体框架Dual-Branch Joint Synthesis双分支联合合成一条视频分支、一条音频分支两条都是 DiT 流并且强调对称设计结构一样或尽量对应这样两边的特征层级、token 语义更容易“对齐”为跨模态交互打地基。视频分支建模视频先按 16 fps 处理用预训练 VAE 编到 latentzv参考人脸图 Iref和条件视频也编码成 zvref,zvcond输入拼成[z0vref,z0vcond,ztv]文本视频描述 Tv​ 用 umT5 编码成 ev通过 cross-attn 注入训练用 Flow Matching损失是预测向量场音频分支建模音频 24kHz转 Mel 频谱作为 latent za可选参考音频 Xaref、条件音频 Xacond 也转成 zaref,zacond输入拼成[z0aref,z0acond,zta]语音内容文本 Ta 经 ConvNeXt V2 blocks 提特征 ea也通过 cross-attn 注入同样 Flow Matching损失是Asymmetric Cross-Modal InteractionATI到底“非对称”在哪论文专门用图3对比三种交互方式SGI全局互看每个 token 看对方所有 token。简单但训练难收敛因为没有显式时间对齐。STI对称时间对齐按时间段一一对应互看收敛快但上下文太窄信息不够。ATI本文时间对齐但 A→V 与 V→A 用不同策略各取所长。A2VAudio → Video 对齐器为什么要“窗口”上下文口型/表情不是只由“这一瞬间的音素”决定还受前后音素影响。做法是把 video tokens reshape 成按帧的 Hv音频也 reshape 成 Ha。对第 i 帧视频不只看 i 帧音频而是拼一个窗口然后做 frame-wise cross-attn让视频帧去 query 这个音频上下文直觉视频每帧需要“听到附近一小段”这样更容易学到口型-发音的对应。3.2 V2AVideo → Audio 对齐器为什么要“插值”音频 token 时间分辨率通常更细一个视频帧对应一段音频 token。若硬对齐会很粗。他们令每个音频 token jjj 对应视频帧 i⌊j/k⌋i\lfloor j/k\rfloori⌊j/k⌋并用相邻两帧做线性插值再让音频 token 去 query 这个“平滑的视觉上下文”直觉音频是连续流视频帧是离散采样插值能把“嘴巴从帧 i 到帧 i1 的过渡”传给音频帮助音色/情绪/身份线索更稳。一个很关键但容易忽略的训练技巧他们把交互输出的线性层 Wo 零初始化避免一开始跨模态信息太强把各自生成能力“带崩”。Face-Aware ModulationFAM为什么能帮口型对齐作者认为 joint AV generation 里真正需要强耦合的是脸部区域。让跨模态交互去处理整张图会浪费容量早期训练把背景也“搅乱”引入伪相关所以他们做了一个 动态人脸mask预测头在每个交互层输出软 mask并用人脸检测得到的 GT mask 监督更聪明的是监督权重 λm​ 逐渐衰减到 0让模型从“先盯脸学对齐”过渡到“后期放开学更全局的交互”。mask 怎么用A2V只在 mask 位置更新视频特征V2A在做插值上下文前用 mask 加权视频特征让音频主要从“脸相关”区域拿信息。MA-CFGModality-Aware CFG是在推理阶段补哪一刀传统 CFG 是单模态用“有条件输出”和“无条件输出”的差来加强条件控制。但在 joint AV 里如果只是分别对音频和视频做 CFG并不会显式加强“音→视”“视→音”的依赖。提出 MA-CFG先做一次 forward 得到“无跨模态交互”的 unimodal baseline uθa,uθv​​再用“有跨模态交互”的 uθa,v​​ 去引导两个模态可以理解成把 CFG 的“强化差分”从文本条件挪一部分给跨模态相关性。实验训练流程三阶段先单训音频分支Emilia 英文子集160k steps再端到端联合训练内部真人 AV 数据集30k steps最后做多任务训练10k steps五任务比例 4:1:1:2:2指标设计音频质量PQ、CUAudioBox-Aesthetics以及 WERWhisper-large-v3视频质量VBench 的 SC/DD/IQ跨模态一致性LSSyncNet 置信度TC、EC用 Gemini-2.5-Pro 打分0~1三次评估取平均主结果表1训练样本 1.3M vs Ovi 30.7MUniAVGen 在 TC/EC 上更强LS 也接近最强视频动态DD和画质IQ也领先或持平。消融ATI 与 FAM 是否真有用交互机制消融表2从 SGI → STI → ATIATI(双向)最好TC/EC 提升最明显。FAM 消融表3带监督的 FAM 明显好于不带衰减 λm\lambda_mλm​ 的设置最好TC/EC 最优。MA-CFG图6加了之后情绪与动作更“跟着声音走”。