@LlamaIndex创始人Jerry Liu
研究团队提出了一种考虑遮挡的场景参数化方法，将整个场景分解为遮挡、人物和背景三个部分。此外，我们设计了广泛的客观函数，以帮助强化人物与遮挡、背景的分离，并确保对人物模型的完整性。我们通过在野外视频上进行实验证明了我们方法的有效性。
**划重点:**2、LLaVA、CogAgent和BakLLaVA是三种具有极大潜力的开源视觉语言模型。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。