音乐生成模型需要更细粒度的文本描述
一个猜测:音乐生成模型落后于语言和视频模型,主要是因为缺少细粒度的文本描述;而最可行的出路,是让 agent 大规模生产合成数据。
我主要对帮助人使用强大的 AI 技术感兴趣。
我的研究核心在于帮助人使用强大的 AI 技术。一项技术的能力有多强,与人能否用好它,是两个不同的问题(比如,计算机在图形界面出现之前就已经很强大,但直到有了窗口、图标和鼠标,大多数人才真正用得上它)。在 AI 的语境下,我关注的是后一个问题:模型的能力在快速增长,而人理解和驾驭这些模型的能力并没有同步增长。
我的长期目标是打造一套工具和方法,让人能够理解、引导并检验越来越强的模型所完成的工作,而不是只能寄希望于模型端到端地完成任务。
目前我在 Smule 担任研究与实验室总监,带领团队研究声音与视觉方面的模型,并与产品团队配合,把这些技术以直观的方式呈现给用户。在我的独立研究中,我专注于人与 agent 协作的界面,通过把 agent 的工作过程和可能的走向整理成人可以快速把握的形式,让使用者能够在关键的地方做出判断,而不必逐一阅读它的全部输出。
在此之前,我的背景是音乐制作。现在有时候帮朋友写歌,偶尔还会做几首自己喜欢的翻唱。
一个猜测:音乐生成模型落后于语言和视频模型,主要是因为缺少细粒度的文本描述;而最可行的出路,是让 agent 大规模生产合成数据。