🖼️ 利用编码器和模型进行音乐和图像理解，用户可编辑音乐、调整乐器和速度。
阿里AI项目DreamTalk开源
虽然现在相关研究还处于早期阶段，但机器学习方法可以揭示隐藏的结构和因果关系，让数据看起来不再是杂乱无章的一堆数字。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。
3. 使用 ChatGPT 生成关键字创意