我从 2017 年开始在中国大陆的音乐市场做流行音乐和应用音乐，主要做作曲、编曲和制作人，客户有影视、游戏，也有普通的流行音乐消费者。2021 年起，我在罗切斯特大学段志尧教授的实验室从打杂做起，慢慢转向深度学习；现在在 Smule 负责研究和创新探索，和一个很小的团队一起摸索该训什么模型、怎么训。从 2025 年开始，我花在音乐制作上的精力越来越少，现在主要是帮朋友写一些小样，很少自己上手编曲、走完整的制作流程了。

现在事情多，我能专注写一首歌的时间可能不到一个小时。前半个小时，我会花在旋律、歌词、和弦和大致的律动上。我习惯在键盘上写歌，会用钢琴或吉他音源把这些东西快速勾出来。这一步我比模型快得多，做小样的过程中我也会更清楚自己想要什么。接下来，我会用十分钟左右，把我想要的其他乐器和它们大致的走向铺一下。我一般用 Logic Pro X，因为我对它很熟悉，内置音源的质量也还不错。

然后，我会用 Suno 这类音乐生成模型，主要靠改文字描述，让它生成我想要的整体效果。模型在这里主要帮我换乐器、试不同的编制，把我没有认真唱的小样变得更好听；有些地方我自己也没完全想清楚要什么，就用模型多试几个版本，把它找出来。我一般会挑几个版本，把分轨全部下载下来，到 Logic 里剪辑、重新混一下，再交出去。

很遗憾，这些模型的输出到今天还不能直接当作最终的编曲和制作成品交出去；和语言模型、视频模型今天的进度相比，差距还是比较大的。在这篇文章里，我想做一个猜测：这个差距主要是因为音乐生成模型需要更细粒度的文本描述。要写出这种描述，模型得先听得懂音乐；而训练这种理解能力所需要的数据，我们今天还没有。

模型越做越大，指标在涨，听起来却没有变好

我常在业内听到两种说法：一种说音乐生成模型的能力很容易 scale 上去，另一种说不太容易。

如果目标只是更好地拟合预训练数据，或者更好地拟合某一组人类偏好，它没有理由 scale 不上去。大体上也确实如此。YuE 比较了 0.5B、2B 和 7B 三个规模，在人类评估中，模型越大、训练预算越多，音乐性越受偏好⁠[1] YuE: Scaling Open Foundation Models for Long-Form Music Generation. Yuan et al., 2026.。MusicGen 报告了 300M、1.5B、3.3B 三个规模，困惑度从 56.1 降到 48.4 再到 46.1，FAD 从 0.96 降到 0.86 再到 0.82，一直在变好⁠[2] Simple and Controllable Music Generation. Copet et al., 2023.。Suno 的 CEO Mikey Shulman 在 2024 年的访谈里也说，他们的模型 scale 起来和文本模型差不多，「bigger is usually better」（更大通常就更好）⁠[3] Making Transformers Sing - with Mikey Shulman of Suno. Latent Space, 2024.。

但同样是 MusicGen，人来打分的整体质量（OVL）是 78.3、81.9、79.2，到 1.5B 就不涨了。作者自己也写道，主观质量在 1.5B 之后不再提升，3.3B 似乎只是更贴合文本 prompt⁠[2] Simple and Controllable Music Generation. Copet et al., 2023.。语音那边也有类似的观察：Cuervo 和 Marxer 发现，纯语音的语言模型在语言能力上的 scaling，比文本模型最多慢三个数量级⁠[4] Scaling Properties of Speech Language Models. Cuervo & Marxer, 2024.。音频这个模态对数据和监督信号的要求本来就更高。

这两种说法我觉得都对。模型做大了确实拟合得更好，但从上面的人评来看，听起来不一定更好。下面是我日常最常碰到的三个问题。我觉得它们在很大程度上影响了模型的可用性，而且背后的解决方案是同一个：更细粒度的文本描述。

模型对我给的文本指令只理解了个大概

开头说过，我主要靠改文字描述来让模型生成我想要的效果。我给模型的指令（instruction），模型应该能听懂，并且用它来缩小输出的搜索空间。好的指令是能把模型约束住的。在图像和视频里，我们可以要求输出满足某些像素级的限制，比如明度图、深度图、从白模推出的法线，或者保留某个特定的人物身份。我贴一张深度图进去，模型就会遵守这张深度图；我要求用某个固定的人物，模型就会保持这个人物。

但在音乐生成里，我们常常做不到这么直截了当的控制。有些控制是直截了当的，比如旋律、歌词和歌手身份；有些大致算直截了当，比如乐器和律动；还有一些非常模糊、粒度很粗，比如风格和某种情绪感觉。在一定程度上，创作者的能力就体现在把模糊的控制一步步变得直截了当。

研究和产品都在一点点把控制做实。Instruct-MusicGen 让模型按指令添加、移除或提取某一条分轨⁠[5] Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning. Zhang et al., 2025.；Suno Studio 可以生成分轨，并把分轨导出成音频或 MIDI⁠[6] Introducing Suno Studio. Suno, 2025.。但指令一模糊，效果就掉得很快。RIME 让多模态 LLM agent 按指令做混音后期：指令如果直接写明效果器和参数，GPT-Audio-Mini 的编辑相似度是 0.718，Gemma 3n 是 0.687；指令如果只描述整体的感觉，两者就分别掉到 0.519 和 0.528⁠[7] RIME: Enabling Large-Scale Agentic Music Post-Production. Schaffer & Singh, 2026.。

正是因为缺少这种细粒度的、直接的控制，我没办法真正控制音乐生成模型的输出。

乐器演奏着演奏着就变了

第二个问题是，我在生成结果里经常听到乐器自己变掉。最典型的是铜管组和功能相近的弦乐组混到一块，本该在同一条旋律线上的乐器跳来跳去；人声一会儿有、一会儿没，或者突然变成了别的乐器。鼓组的音色和歌曲的声场也经常跳变。更细微的跳变几乎每次生成都有：我会听到吉他的大小、录音条件和琴弦的质感不停地变。如果我要求一件铜管乐器，得到的往往是一条连续的「铜管组乐器谱」，从小号一路滑到大号，甚至有一定概率滑到大提琴去，而大提琴又很可能滑到低音提琴去。

论文里也有类似的记录。SongGen 的作者提到，直接以混音为训练目标时，模型倾向于优先建模更容易预测的伴奏，常常忽略人声的特征⁠[8] SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation. Liu et al., 2025.。一篇只用 457 小时数据训练的挑战赛论文则发现，萨克斯、口琴、颤音琴这类有特点的乐器，常常被渲染成泛泛的音色⁠[9] Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches. Junyoung Koh, 2026.。

我怀疑这和模型表示音频的方式有关。业内现在很常见的做法，是先把音频压成更「语义化」的离散 token，这样语言模型更容易对它建模。这套思路来自语音研究：MusicLM 基本沿用了 AudioLM 的结构，用 w2v-BERT 产生 semantic token，用 SoundStream 产生 acoustic token⁠[10] MusicLM: Generating Music From Text. Agostinelli et al., 2023.。

在音乐里，semantic 和 acoustic 之间的这条界线没那么清楚，但大家还在这么训，各家对「什么算 semantic」的假设也不一样。MERT 用 RVQ-VAE 当 acoustic teacher，再加一个基于 CQT 的 musical teacher⁠[11] MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training. Li et al., 2024.；MuQ 预测的是 Mel-RVQ 产生的 token⁠[12] MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization. Zhu et al., 2025.；MuCodec 先做 masked language modeling，再加上梅尔谱和 CQT 的重建，以及由 CTC 和 RNN-T 组成的歌词转写损失⁠[13] MuCodec: Ultra Low-Bitrate Music Codec. Xu et al., 2024.。MuSeC 的作者说得更直接：这类由语义引导的方案是为语音设计的，并不太适合音乐⁠[14] Rethinking Music Tokenization: A Semantic Codec toward High-Fidelity LLM Music Generation. Chen et al., 2026.。

但音乐里的「语义」到底是什么？这个问题好像一直没有一个清楚的定义。如果用 masked prediction 来训，那就等于说，被 mask 掉、要模型去预测的那个目标就是语义；很不幸，我们常常不知道这个目标有没有把该有的语义信息都包进去。如果直接要求 tokenizer 学会从音频输出文本描述和歌词，那语义的边界就是由这些文本描述和歌词划出来的。

我猜这和我听到的那些跳变有关系。如果界线本身划得不清楚，「语义」相近的东西，比如小号和大号、大提琴和低音提琴，就可能被模型当成差不多的东西捏在一起。

这套办法在语音里够用、在音乐里不够，我觉得原因之一是语音和音乐里的信息长得不一样。语音大多数时候只有一个说话人，身份是稳定的，信息基本只沿着时间这一个方向变化。音乐既有横向也有纵向：纵向是同一时刻叠在一起的多个声部，声源高度重叠，比语音难拆得多⁠[15] Discrete Audio Tokens: More Than a Survey! Mousavi et al., 2025.；横向是每个声部的功能在时间上不断变化。

所有的生成结果听起来都差不多

第三个问题是 mode collapse，我很容易就能观察到。prompt 怎么改，出来的东西都差不多，模型太有主见了；简单说，就是 RL 做过头了。奇怪的是，它同时看起来又 RL 得不够：控制仍然不好，输出却已经很同质，有点像 GAN 时代见过的那种塌缩。

2026 年 8 月有一篇论文正好测到了这个现象⁠[16] The Algorithmic Flattening of Sound: Computational Evidence and Justice Implications of AI Music Homogenization. Slendebroek & Metaxa, 2026.。作者用 72 个 MIR 特征分析了 Suno 和 Lyria 3 在四个流派上的输出，发现 Lyria 3 在同一个流派里的多样性变低了，Suno 则把流派之间的差别抹平了。两个系统都没有忠实地遵循 prompt，用一个普通的分类器就能几乎完美地分出 AI 曲目和真人曲目。

RLHF 会降低音乐的多样性，这已经有不少证据。SMART 用 Audiobox Aesthetics 当 reward 去调一个符号音乐生成系统，发现过度优化会大幅降低输出的多样性；优化之后，输出在这个 reward 上的分数还经常超过真实演奏，作者自己也说，这只说明拿这个 reward 当代理指标是有局限的⁠[17] SMART: Tuning a symbolic music generation system with an audio domain aesthetic reward. Jonason et al., 2025.。DRAGON 发现，针对单曲 FAD 做优化，会让 Vendi 多样性平均变差 17.7%⁠[18] DRAGON: Distributional Rewards Optimize Diffusion Generative Models. Bai et al., 2025.。在语言模型上，Kirk 等人也发现 RLHF 的输出多样性明显低于 SFT⁠[19] Understanding the Effects of RLHF on LLM Generalisation and Diversity. Kirk et al., 2024.。

RL 之外，推理时常用的 classifier-free guidance 也在压低多样性：在一个基于 MusicLM 的模型上，guidance 系数从 1 调到 7，多样性分数从 0.5 掉到 0.3⁠[20] Diversity-Rewarded CFG Distillation. Cideron et al., 2025.。

RLHF 的多样性问题，一部分来自 RL 本身 mode seeking 的行为。GX-Chen 等人更进一步指出，在常见的设置下（正则很弱，或者所有正确答案拿到相同的 reward），KL 正则 RL 的最优目标分布本身往往就是单峰的，多样性的塌缩等于写在了目标函数里⁠[21] KL-Regularized Reinforcement Learning for Generative Modelling is Designed to Mode Collapse. GX-Chen et al., 2026.。

推导：最优分布为什么是单峰的？

设定：记正在训练的模型为 π\pi，参考模型为 πref\pi_{\text{ref}}（通常就是 RL 开始之前的模型），输出 yy 的 reward 为 R(y)R(y)，正则强度为 β>0\beta > 0。KL 正则 RL（这里指最常见的 reverse KL 正则）最大化的是

Jβ(π)=Ey∼π[R(y)]−β DKL(π ∥ πref).(1)J_\beta(\pi) = \mathbb{E}_{y \sim \pi}\big[R(y)\big] - \beta\, D_{\mathrm{KL}}\big(\pi \,\|\, \pi_{\text{ref}}\big). \tag{1}

最优解：把 KL 项按定义展开，再把 reward 收进对数里，

Jβ(π)=Ey∼π[R(y)−βlog⁡π(y)πref(y)]=−β Ey∼π[log⁡π(y)πref(y) eR(y)/β]=−β DKL(π ∥ Gβ)+βlog⁡Zβ,\begin{aligned} J_\beta(\pi) &= \mathbb{E}_{y \sim \pi}\Big[R(y) - \beta \log \frac{\pi(y)}{\pi_{\text{ref}}(y)}\Big] \\ &= -\beta\, \mathbb{E}_{y \sim \pi}\Big[\log \frac{\pi(y)}{\pi_{\text{ref}}(y)\, e^{R(y)/\beta}}\Big] \\ &= -\beta\, D_{\mathrm{KL}}\big(\pi \,\|\, G_\beta\big) + \beta \log Z_\beta , \end{aligned}

其中

Gβ(y)=πref(y) eR(y)/βZβ,Zβ=∑y′πref(y′) eR(y′)/β.(2)\begin{aligned} G_\beta(y) &= \frac{\pi_{\text{ref}}(y)\, e^{R(y)/\beta}}{Z_\beta}, \\ Z_\beta &= \sum_{y'} \pi_{\text{ref}}(y')\, e^{R(y')/\beta}. \end{aligned} \tag{2}

ZβZ_\beta 与 π\pi 无关，而 KL 散度非负，并且只在两个分布相同时为零，所以式 (1) 的最优解只有一个：π∗=Gβ\pi^* = G_\beta。也就是说，即便算力无限、优化完美，RL 得到的也只会是 GβG_\beta。它就是这个目标函数的「目标分布」。

概率比：任取两个输出 y1y_1 和 y2y_2。归一化常数 ZβZ_\beta 在比值里消掉，于是

log⁡Gβ(y1)Gβ(y2)=log⁡πref(y1)πref(y2)+R(y1)−R(y2)β.(3)\log \frac{G_\beta(y_1)}{G_\beta(y_2)} = \log \frac{\pi_{\text{ref}}(y_1)}{\pi_{\text{ref}}(y_2)} + \frac{R(y_1) - R(y_2)}{\beta}. \tag{3}

右边第一项是参考模型原有的偏好，第二项是 reward 之差除以 β\beta。两个输出在目标分布里谁多谁少，完全由这两项决定。

情形一：正确答案的 reward 都相同。这是可验证任务的标准设置，答对得 1，答错得 0。对任意两个正确答案，式 (3) 的第二项为零，所以

Gβ(y1)Gβ(y2)=πref(y1)πref(y2),\frac{G_\beta(y_1)}{G_\beta(y_2)} = \frac{\pi_{\text{ref}}(y_1)}{\pi_{\text{ref}}(y_2)},

并且这个比值与 β\beta 无关。RL 只是把概率从错误答案搬到正确答案上，正确答案之间的相对比例则原封不动地照搬参考模型：参考模型原来偏爱哪一种答案，目标分布就同样偏爱哪一种，把 β\beta 调小也没有用。只要参考模型在这些答案之间本来就相差悬殊，目标分布就同样集中在其中一个上。换成 forward KL 正则，这个结论也不变。

情形二：reward 不同，正则很弱。先看参考概率相同的两个输出，此时式 (3) 变成

Gβ(y1)Gβ(y2)=exp⁡ ⁣(R(y1)−R(y2)β).\frac{G_\beta(y_1)}{G_\beta(y_2)} = \exp\!\Big(\frac{R(y_1) - R(y_2)}{\beta}\Big).

reward 上线性的差距，变成了概率上指数的差距。原文举的例子是：reward 只差 0.1，β\beta 取常用的 10−310^{-3}，比值就是 e100e^{100}，超过 104310^{43} 倍。参考概率不相同时结论也一样：式 (3) 的第一项是固定的，第二项却随着 β\beta 变小不断放大，β\beta 足够小时，两者之中 reward 稍高的那个总会占压倒性的多数。

多峰的条件：要让两个输出在目标分布里概率相同，式 (3) 的右边必须为零，也就是

R(y2)−R(y1)=βlog⁡πref(y1)πref(y2).(4)R(y_2) - R(y_1) = \beta \log \frac{\pi_{\text{ref}}(y_1)}{\pi_{\text{ref}}(y_2)}. \tag{4}

reward 的差必须恰好抵消两者在参考模型下 log 概率的差。β\beta 在这里只是一个旋钮：调大，偏向参考模型喜欢的输出；调小，偏向 reward 高的输出。只要两个输出的 reward 不同，能让它们恰好打平的 β\beta 至多只有一个。常见的设置一般满足不了这个条件，所以目标分布的概率大都压在其中一个 mode 上，而不是分给所有高质量的输出。原文把后一种情况叫做多峰（multimodal），前一种就是这里说的单峰。这种塌缩不是探索不足或者优化没做好造成的：优化得越好，模型越接近 GβG_\beta，塌缩得也就越彻底。

另一部分来自 reward model：我们没法检查它到底学到了什么、在奖励什么。所以最常见的做法就是盯着 RL 的过程，抓一些 checkpoint 自己去听。这样听，很难听出多样性不够，只能听出一些 reward 设置上的问题；而发现问题之后，常见的做法是再加一个 reward，然后再加一个。

这种打补丁式的 reward 很容易影响泛化。DiffRhythm 2 的作者就写到，偏好一多，模型融合往往会明显拉低各项偏好的平均表现⁠[22] DiffRhythm 2: Efficient and High Fidelity Song Generation via Block Flow Matching. Jiang et al., 2025.。TuneJury 发现，reward 往上走的同时，衡量分布保真度的 MAD 在变差：expert iteration 在学习率 1e-5 下，reward 涨了 0.416，MAD 恶化了 0.669，作者把这叫做典型的 reward exploitation⁠[23] TuneJury: An Open Metric for Improving Music Generation Preference Alignment. Kim et al., 2026.。

更根本的是，每个人对音乐的口味都不一样。MusicRL 收集了 30 万对用户偏好，发现文本贴合度和音质只能解释其中的一部分，而只用质量这一项 reward 来微调，还容易过度优化⁠[24] MusicRL: Aligning Music Generation to Human Preferences. Cideron et al., 2024.。CMI-RewardBench 把 500 条测试样本重新标了一遍，人与人之间的 Krippendorff’s α 只有 0.50 左右，Gemini-2.5-Pro 和人类偏好的一致率也很难超过 80%⁠[25] CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction. Ma et al., 2026.。

现有的美学数据和指标，记录下来的都是某种共识口味。SongEval 请了 16 位有音乐背景的专业标注者，给 2,399 首完整歌曲打了 5 个维度的分⁠[26] SongEval: A Benchmark Dataset for Song Aesthetics Evaluation. Yao et al., 2025.；Audiobox Aesthetics 把美学拆成制作质量、制作复杂度、内容享受度和内容有用性四个维度⁠[27] Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound. Tjandra et al., 2025.。Xiao 等人还从理论上表明，KL 正则的 RLHF 在极端情况下会出现 preference collapse，少数人的偏好几乎被完全忽略⁠[28] On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization. Xiao et al., 2025.。

这个问题，即使在数据多、投入大、研究资源充足的文本领域，也没有被完全解决。大家只是把 reward 拆得越来越细、越来越客观，然后把主要的训练精力放在别的地方。

视觉是怎么做的？

开头说过，音乐生成模型和视频模型今天的进度差得比较多，所以我想先看一下视觉那边是怎么做的。过去一段时间，绝大多数做视觉的研究团队，都把主要精力花在了一件事上：更细粒度的文本描述。

训练的时候，他们用模型把训练数据的描述重写一遍，而这种写描述的能力可以直接借用文本模型的先验。DALL·E 3 专门训了一个 captioner 来写描述性的合成 caption，最后用 95% 的合成 caption 加 5% 的原始 caption 训练；论文里还提到，GPT-4 可以把任何简短的 caption「upsample」成非常详细的描述⁠[29] Improving Image Generation with Better Captions. Betker et al., 2023.。PixArt-α 用 LLaVA 把 LAION 的图片重新标了一遍，每张图 caption 里的名词数从 6.4 个涨到 20.9 个，有效名词的占比从 8.5% 涨到 13.3%；换成 SAM 的图片再用 LLaVA 标，则是 29.3 个和 18.6%⁠[30] PixArt-α: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis. Chen et al., 2024.。SD3 把一半的训练 caption 换成 CogVLM 生成的，GenEval 总分从 43.27 涨到 49.78，其中位置一项从 6.50 涨到 18.00，颜色归属从 11.75 涨到 24.75⁠[31] Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. Esser et al., 2024.。

视频这边也一样。CogVideoX 先让 CogVLM 给每一帧写 dense caption，再用 GPT-4 汇总成整段视频的 caption，最后用这套流程的产出训了一个端到端的视频 captioner⁠[32] CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer. Yang et al., 2025.。ShareGPT4Video 让 GPT-4V 逐帧描述相邻两帧之间的变化，这样标了 4 万条视频，训出 ShareCaptioner-Video，再用它标了 480 万条视频片段⁠[33] ShareGPT4Video: Improving Video Understanding and Generation with Better Captions. Chen et al., 2024.。更新的模型，比如 SAM 3，可以按给定的概念，把视频每一帧里对应的物体全部检测、分割出来，并一路跟踪⁠[34] SAM 3: Segment Anything with Concepts. Carion et al., 2026.；这些信息也常常被拿来合成更细致的 caption。

推理的时候，他们用文本模型把用户的短 prompt 扩写成详细的描述。Sora 的技术报告写得很清楚：把 DALL·E 3 的 re-captioning 用到视频上，同时用 GPT 把用户的短 prompt 扩写成长 caption，再送给视频模型⁠[35] Video generation models as world simulators. Brooks et al., 2024.。Movie Gen 用 LLaMA3 70B 当老师，蒸馏出一个 8B 的 prompt rewriter⁠[36] Movie Gen: A Cast of Media Foundation Models. Polyak et al., 2024.；HunyuanVideo 也专门有一节讲 prompt rewrite⁠[37] HunyuanVideo: A Systematic Framework For Large Video Generative Models. Kong et al., 2024.。Prompt Expansion 则发现，对同一个 prompt 采样多个扩写版本，能得到更多样、也更好看的图⁠[38] Prompt Expansion for Adaptive Text-to-Image Generation. Datta et al., 2024.。

当然，caption 也不是越密越好。Brack 等人的对照实验发现，又长又密的合成 caption 能提升文本对齐，却可能牺牲美学和样本多样性；训练时把 caption 的长度随机化，可以缓解这种取舍⁠[39] How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions. Brack et al., 2025.。

所以在很大程度上，视频生成模型的控制变得越来越细、越来越具体，也越来越依赖语言模型的智力和理解能力。

视觉研究团队还很积极地使用合成数据，不断扩大描述能覆盖的范围，这一点后面讲音乐的时候还会用到。Playing for Data 用 GTA V 渲染了 2.5 万张图，游戏数据加上三分之一的 CamVid，就略微超过了用完整 CamVid 训练的模型⁠[40] Playing for Data: Ground Truth from Computer Games. Richter et al., 2016.。Depth Anything V2 的 teacher 完全在合成图像上训练⁠[41] Depth Anything V2. Yang et al., 2024.。CoSyn 让 LLM 写代码，渲染出 40 万张图和 270 万条指令数据，在文字密集型基准上的平均表现超过了 GPT-4V 和 Gemini 1.5 Flash⁠[42] Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation. Yang et al., 2025.。

音乐这边也在做细粒度描述，但还不够细

用模型给训练数据打标签，在音乐生成里也已经是常规操作。LeVo 用 Qwen2-Audio 给大约 200 万首歌打了开放词表的标签⁠[43] LeVo: High-Quality Song Generation with Multi-Preference Alignment. Lei et al., 2025.。ACE-Step 1.5 先用 Gemini 2.5 Pro 标了 500 万条样本当 golden set，再把 Qwen2.5-Omni 微调成专门的 captioner，用 reward model 和 RL 继续优化，最后标完了全部 2700 万条样本的语料⁠[44] ACE-Step 1.5: Pushing the Boundaries of Open-Source Music Generation. Gong et al., 2026.。Captioner 本身也越来越强：Music Flamingo 的 MF-Skills 数据覆盖和声、结构、音色、歌词和文化背景⁠[45] Music Flamingo: Scaling Music Understanding in Audio Language Models. Ghosh et al., 2026.，Qwen 也单独发布了 Qwen3-Omni Captioner⁠[46] Qwen3-Omni-30B-A3B-Captioner. Qwen, 2025.。

时间维度上也有人在做。FUTGA 指出，现有的音乐 caption 方法大多只能给短片段写一句简短的整体描述，于是做了带时间信息的细粒度 caption⁠[47] FUTGA: Towards Fine-grained Music Understanding through Temporally-enhanced Generative Augmentation. Wu et al., 2024.。SegTune 用 Audio Flamingo 3 给每个段落单独写 caption，再把每段的 prompt 按时间铺到对应的位置上，当作生成的条件⁠[48] SegTune: Structured and Fine-Grained Control for Song Generation. Wang et al., 2026.。

但这些理解模型在能力上还有欠缺。最理想的情况下，对一段音乐的细粒度描述，应该细到把这些文字全部写下来就能对应回一段完整的音频，就像视频里足够细的 caption 能对应回一段视频。现在的模型离这个标准还挺远。MusTBench 在 2026 年测了一圈，发现现有的音频语言模型连精确的时间定位都普遍吃力，尤其是判断一个声源什么时候结束。Music Flamingo 在声源时间定位（TSG）上的平均分只有 38.5，结束点在 3 秒内命中的只有 24.0⁠[49] MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs. Kwon et al., 2026.。

既然视频理解已经能做到这一点，我们可以推断，这种能力上的欠缺主要是数据上的欠缺。细粒度的理解数据确实太贵了。MusicCaps 只有 5.5k 条，都是专业音乐人手写的⁠[10] MusicLM: Generating Music From Text. Agostinelli et al., 2023.；LP-MusicCaps 的作者也正是因为人工收集「costly and time-consuming」，才改用 LLM 从标签生成伪 caption⁠[50] LP-MusicCaps: LLM-Based Pseudo Music Captioning. Doh et al., 2023.。

如果我们突然有了细粒度的理解，会怎么样？

不妨假设一下：突然天降一份完美的细粒度描述数据集，有几千万条音频，每一条的描述都细到「几乎可以从文本还原出音频」，会怎么样？显然，音乐理解会突飞猛进。这些理解模型可以立刻拿去给生成模型的训练数据重写描述，生成模型听指令的能力也会跟着提高。我上面说的三个问题，也都能得到缓解。

第一，模型不会再只听个大概，创作者真的可以控制它了，它会变成创作者手里更忠实的工具。如果一份描述几乎可以完美还原出音频，那它其实就是一份「工程文件」，想怎么改就怎么改。做 audio-to-audio 的时候，这种理解能力也可以用来决定哪些保留、哪些不保留、要怎么改。

第二，乐器不会再那么容易滑走，因为语义上的歧义少了。现在已经有很多 tokenizer 在用文本做监督，比如 MuCodec 加了歌词识别损失⁠[13] MuCodec: Ultra Low-Bitrate Music Codec. Xu et al., 2024.，CosyVoice 在语音识别模型的 encoder 里插入向量量化，得到有监督的 semantic token⁠[51] CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens. Du et al., 2024.。一个 codec 如果能产出细粒度的文字描述，至少说明这些信息被保留下来了；细粒度的文本监督，正好可以当作它需要的那种监督信号。

表征学习里早有相关的结论：如果对模型和数据不加任何归纳偏置，无监督地学出解耦的表征，在理论上是做不到的⁠[52] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations. Locatello et al., 2019.；模型还会把多于维度数的特征叠加在同一组维度里⁠[53] Toy Models of Superposition. Elhage et al., 2022.。一个表征把信息拆得怎么样、留得怎么样，也有现成的框架可以衡量，它把解耦程度、完整性和信息量分开来看⁠[54] A Framework for the Quantitative Evaluation of Disentangled Representations. Eastwood & Williams, 2018.。

这对后面的渲染也有好处。Flow matching 或 diffusion 模型其实不太擅长处理这种歧义，我觉得也不应该由它们来处理。条件越清楚，从 semantic 到 acoustic 的这一步就越容易，可控性也越好。Seed-Music 就提到，因为 lead sheet token 缺少对声学特征的刻画，他们需要把后面的渲染器做得更大，才能达到同样的端到端效果⁠[55] Seed-Music: A Unified Framework for High Quality and Controlled Music Generation. Bai et al., 2024.。

第三，出来的东西不会再都差不多。搜索空间被 caption 约束住之后，多样性可以靠改文本来实现，reward 也不必再和指令遵循能力的不足搅在一起。图像上的 Kaleido Diffusion 就是这个思路：先自回归地生成文本描述、检测框这类离散的隐变量，再让 diffusion 以它们为条件，用更丰富的条件换来更多样的输出⁠[56] Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling. Gu et al., 2024.。这样，我们可以只训练模型听指令的能力，而这是很容易验证的。

最后，文本的改写、扩写和推理，都可以直接交给现成的 LLM。这样我们就可以借语言模型的力：语言模型发展得越好，音乐生成也会越好。

这种细粒度的描述，其实就是工程文件

分轨、乐器识别、调性、拍子、和弦、转录，这些传统的 MIR 问题，说到底都是在问怎么拿到细粒度的 caption。这样的数据集当然不会天降，我觉得它最可能从 DAW 的工程文件里来。以前这些标注很贵，现在成本在往下走，因为 GPT-6 Astra 已经可以直接控制 DAW（Digital Audio Workstation，数字音频工作站），甚至直接生成 DAW 的工程文件。工程里每条轨道在哪一帧发了什么音、用了什么音色、挂了什么效果，全都是已知的。也就是说，标签是逐帧的，而且几乎免费。按过去几年的进度，我相信通过量化和蒸馏，同等水平的智能只会越来越便宜。

这条路已经有基础。Slakh2100 用专业的采样音源把 Lakh MIDI 渲染成了 2100 首、共 145 小时的多轨混音⁠[57] Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity. Manilow et al., 2019.。WildFX 把 REAPER 放进 Docker，以 headless 模式运行，支持 VST、VST3、LV2、CLAP 插件，用来做混音图和插件参数的盲估计⁠[58] WildFX: A DAW-Powered Pipeline for In-the-Wild Audio FX Graph Modeling. Yang et al., 2026.。让 agent 操作 DAW 的系统也开始出现了：DAWZY 让 GPT-5 生成 Lua 脚本，通过 ReaPy 修改 REAPER 工程，同时用三个 MCP 工具查询状态、调参数、生成 beat⁠[59] DAWZY: A New Addition to AI powered "Human in the Loop" Music Co-creation. Elkins et al., 2025.；社区里也有 AbletonMCP 这样的桥接工具⁠[60] ableton-mcp. Siddharth Ahuja, 2025.。

和视觉那边一样，合成数据加真实数据，这个组合在音乐上也是有效的。MuScriptor 做多乐器转录：只用合成数据训练，onset F1 是 34.5；加上真实数据微调，到 54.4；再加 RL，到 60.4。作者的结论是，合成数据预训练很有效，尤其是在真实数据很少的时候，但只靠合成数据不够⁠[61] MuScriptor: An Open Model for Multi-Instrument Music Transcription. Rouard et al., 2026.。在吉他指弹转录上，纯程序化生成的数据训出来 F1 是 66.23，纯真实数据是 81.42，先合成预训练再真实微调是 83.49⁠[62] Exploring Procedural Data Generation for Automatic Acoustic Guitar Fingerpicking Transcription. Murgul & Heizmann, 2025.。TAC 用真实音频素材拼出合成的混合，训练带时间戳的音频 captioner，在 TACOS 上拿到了 state of the art，作者也承认还有 sim-to-real gap⁠[63] TAC: Timestamped Audio Captioning. Kumar et al., 2026.。

合成和真实之间的这个差距，需要老实面对，而它主要来自音源的品质。SynthSOD 用合成的管弦乐数据训练分离模型，结果在真实录音上没有一个模型分得好，连相对简单的 URMP 都不行。作者认为主要原因是，采样音源是按 round-robin 循环使用少数几个录音样本的，数据实际的多样性很有限⁠[64] SynthSOD: Developing an Heterogeneous Dataset for Orchestra Music Source Separation. Garcia-Martinez et al., 2025.。

假设我们突然有了质量非常好的音源，就可以让 agent 批量生成大量的合成数据。工程文件里的所有细节我们都知道，所以工程本身就能产出非常细粒度的理解数据。再假设 agent 有能力做出像真人一样的编曲⁠1 它一定会有能力的，不要小看 agent 的能力。，那我们就有了所有需要的数据。

有了数据，可以先训一个个小的分类器（分轨、乐器活动检测、调性、拍子），再把它们的输出拼成完整的 caption。再往前走一步，是做一个能转录所有乐器、直接还原出完整工程的 transcriber。

今天，我们离这个目标还很远。2025 年的多乐器转录挑战赛里，八支提交了有效结果的队伍中只有两支超过了 MT3 基线⁠[65] Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge. Chaturvedi et al., 2025.；YourMT3+ 这类系统输出的是按乐器分好的音符，也就是音高和时间，还没有音色、效果和混音参数⁠[66] YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation. Chang et al., 2024.。

用开放的 DAW 工程格式当中间表示

工程文件除了用来造理解数据，我觉得也可以直接当生成模型的条件。现在已经有不少工作在用某种中间条件来引导生成。Music ControlNet 用随时间变化的旋律、力度和节奏来控制生成⁠[67] Music ControlNet: Multiple Time-varying Controls for Music Generation. Wu et al., 2024.；JASCO 把和弦、旋律这类符号条件和音频条件结合起来，做时间上可控的生成⁠[68] Joint Audio and Symbolic Conditioning for Temporally Controlled Text-to-Music Generation. Tal et al., 2024.；MuseControlLite 用轻量的 conditioner 支持多种控制⁠[69] MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners. Tsai et al., 2025.；Seed-Music 用 lead sheet 当中间表示⁠[55] Seed-Music: A Unified Framework for High Quality and Controlled Music Generation. Bai et al., 2024.。

更进一步，最近的不少工作都是先生成一份符号化的中间表示，再生成音频：YuE2 先写出一份 ABC 乐谱⁠[70] YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality. Yuan et al., 2026.，StepAudio 3 Music 用 ABC 记谱做编曲规划（ABC-CoT）⁠[71] StepAudio 3 Music Technical Report. Feng et al., 2026.，Qwen-Music 则用旋律 token 做规划⁠[72] Qwen-Music Technical Report. Xu et al., 2026.。

我觉得这些都是很好的中间步骤，但还可以再往前走很多步。如果有一个开放的 DAW 工程格式，它会是比 MIDI、比 ABC 更好的中间表示。MIDI 基本只管音符，ABC 记录的就更少了；而一个工程文件里有轨道、片段、音符和表情、自动化、插件和插件状态，音乐人做过的决定基本都记在里面。把它转成文本当条件，就很接近让音乐人直接操作 DAW 了。这时候生成模型主要负责渲染：搜索空间被约束得很紧，它要学的分布更确定，乐器音色这类细节也更容易控制。

这样的格式其实已经有了。Bitwig 和 PreSonus 推出的 DAWproject 能记录时间线上的音频、音符、音符表情和自动化数据，插件状态则以 preset 文件的形式嵌在里面⁠[73] DAWproject. Bitwig, 2023.。插件状态用的是每个插件自己的格式，不过如果所有状态都被转成足够细致的语言描述，这也就不成问题了。

一个共同的目标

讲到这里可以看出，AI 音乐这个研究领域整体的目标，可以是尽快造出大量细粒度的文本-音乐配对数据，细到几乎可以从文本还原出音频；而目前最可行的技术路线，是让 LLM 驱动的 agent 大规模地生产合成数据。

前面提到的很多工作都可以放到这个目标下面来看。Captioner、时间定位和转录是从音频往描述走，Slakh2100 和操作 DAW 的 agent 是从工程往音频走，lead sheet 和 ABC 可以看作记得比较粗的工程文件。它们离这个目标都还有一段距离。

除了等待文本模型的进步给我们带来一个便宜、高效、可用的合成数据 agent 之外，还有很多事可以做。抛砖引玉，我在这里写其中五件，每一件都已经有一些工作，我也试着写一下它们和这个目标之间还差什么。

更真实、也更好控制的音源

前面说过，合成数据和真实数据的差距主要来自音源的品质，所以需要训练大量更真实的音源。这方面已经有不少工作。DDSP 把传统的信号处理模块做成可微的，和神经网络一起训练，音高和响度可以单独控制⁠[74] DDSP: Differentiable Digital Signal Processing. Engel et al., 2020.。MIDI-DDSP 在它上面搭了音符、演奏、合成三层，既要声音真实，也要让用户能细致地控制演奏⁠[75] MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling. Wu et al., 2022.。torchsynth 走的是纯合成的方向，做了一个跑在 GPU 上的模块合成器，放出了 10 亿条带合成参数的声音⁠[76] One Billion Audio Sounds from GPU-enabled Modular Synthesis. Turian et al., 2021.。

借用语音领域训练语音合成模型的方法来训练乐器音源，也已经有人做了。Deep Performer 直接借了 TTS 的做法，从乐谱合成演奏的音频⁠[77] Deep Performer: Score-to-Audio Music Performance Synthesis. Dong et al., 2022.。Hawthorne 等人让一个模型从 MIDI 生成任意乐器组合的频谱，decoder 用自回归和 diffusion 各训了一版，diffusion 更好⁠[78] Multi-instrument Music Synthesis with Spectrogram Diffusion. Hawthorne et al., 2022.。TokenSynth 用一个 decoder-only 的 transformer，从 MIDI token 直接生成 codec 的音频 token，音色用 CLAP embedding 来指定⁠[79] TokenSynth: A Token-based Neural Synthesizer for Instrument Cloning and Text-to-Instrument. Kim et al., 2025.；MIDI-VALLE 从 VALL-E 改过来，把 MIDI 和音频都变成离散 token，专门做钢琴⁠[80] MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling. Tang et al., 2025.；FlowSynth 用 flow matching 加上推理时的搜索，让同一件乐器在不同音高和力度下音色保持一致⁠[81] FlowSynth: Instrument Generation Through Distributional Flow Matching and Test-Time Search. Yang et al., 2025.。

和目标相比，这些工作还差的主要是控制信号和覆盖面。它们的控制信号基本就是 MIDI，也就是音高、时值和力度，弓怎么走、气怎么给、音头怎么处理，MIDI 里是没有的。覆盖的乐器也还很少，MIDI-VALLE 只做钢琴，FlowSynth 也提到按单个音符生成的模型很难让音与音之间的音色保持一致。采样音源则有 SynthSOD 说的那个问题，同一个音翻来覆去就是那几个录音样本⁠[64] SynthSOD: Developing an Heterogeneous Dataset for Orchestra Music Source Separation. Garcia-Martinez et al., 2025.。

也许，我们可以再往前推动的是数据采集，以及控制信号的设计。对每一种乐器，都可以从演奏者的角度出发，设计它需要的控制信号，再把这些信号和对应的演奏录音一起采集下来。数据不够的时候，可以和物理建模结合，用大量合成数据做预训练；也可以先用相近的乐器训练，最后再用少量该乐器的数据做迁移。至于模型架构本身，也许可以借鉴语音领域的处理方法，使用在文本数据上预训练过的小模型，让它直接从 control token sequence 预测 audio token sequence。这能促成技术研究者和音乐学习者的合作，产出大量音乐制作人日常可用的音源，也能增加 agent 所造合成数据的多样性。

让 agent 的编曲、演奏和混音更像人

前面假设 agent 有能力做出像真人一样的编曲，这在今天还做不到。混音上的工作相对多一些。Steinmetz 等人做了一个可微的调音台，用很少的例子就能学会混多轨⁠[82] Automatic multitrack mixing with a differentiable mixing console of neural audio effects. Steinmetz et al., 2021.；Koo 等人训了一个只关心音频效果的 encoder，可以把一首参考歌曲的混音风格搬到另一组多轨上⁠[83] Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects. Koo et al., 2023.。不过 Martínez-Ramírez 等人也写道，这类模型离专业的人工混音还很远，原因之一是缺少干声数据⁠[84] Automatic music mixing with deep learning and out-of-domain data. Martínez-Ramírez et al., 2022.。演奏上，钢琴有 MAESTRO 这样音频和 MIDI 精确对齐的演奏数据⁠[85] Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset. Hawthorne et al., 2019.，别的乐器就少得多。编曲上，DAWZY 这样的系统已经能让 agent 动手改工程⁠[59] DAWZY: A New Addition to AI powered "Human in the Loop" Music Co-creation. Elkins et al., 2025.，但我还没有看到有工作去衡量它改得像不像一个真人编曲。

也许，我们可以先推动的是衡量的办法，也就是该如何衡量编曲、演奏和混音决策的相似程度。混音上，Koo 等人的 encoder 可以算一个开始，编曲和演奏上我还没有看到对应的东西。有了衡量的办法，才好去研究另一个问题：我们能不能通过给 agent 一定的 prompt 和 context（比如 reference），让它模仿出不同的编曲人、演奏者和混音师的决策。至于数据，也许可以先从演奏和编曲的工程文件收起，因为决策都记在工程文件里。

把渲染做成大家都能用的基础设施

渲染的工具已经有一些。DawDreamer 可以在 Python 里宿主插件、渲染音频⁠[86] DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces. David Braun, 2021.；WildFX 把 REAPER 放进了 Docker⁠[58] WildFX: A DAW-Powered Pipeline for In-the-Wild Audio FX Graph Modeling. Yang et al., 2026.；torchsynth 在单块 GPU 上比实时快一万多倍⁠[76] One Billion Audio Sounds from GPU-enabled Modular Synthesis. Turian et al., 2021.。但 torchsynth 快的是它自己的合成器，好听的商业音源要花钱买，渲染起来也慢，渲染出来的数据能不能公开分享也还是个问题。

短期内，也许可以购买商业音源来推进这个过程，同时优化基础设施，让音源渲染更高效。至于长期怎么组织，也许可以借鉴别的领域的做法，创办组织，让音源渲染以更分布式、更公平的方式进行。语音有靠五万多人众包出来的 Common Voice⁠[87] Common Voice: A Massively-Multilingual Speech Corpus. Ardila et al., 2020.，图像有公开的 LAION-5B⁠[88] LAION-5B: An open large-scale dataset for training next generation image-text models. Schuhmann et al., 2022.，音乐上完全也可以有一些非营利组织，定期以发表学术文章的方式分享更新后的数据集，让各个学术实验室和模型厂商据此更新自己的训练器，从而提供相应的控制信号，让创作者可以控制模型。

文本说不清的东西，留到推理时再调

音色、声场这类特质很难用语言描述，即使有了上面说的那种数据也是一样。对这类特质，可以研究如何在给定的搜索空间里，在渲染阶段做少量推理时的搜索和引导，让音乐创作者可以用少量样本来调整模型的生成效果。已经有一些相关的工作：DITTO 在推理时优化初始噪声来控制音乐生成⁠[89] DITTO: Diffusion Inference-Time T-Optimization for Music Generation. Novack et al., 2024.，SMITIN 在推理时干预 MusicGen 的注意力头⁠[90] SMITIN: Self-Monitored Inference-Time INtervention for Generative Music Transformers. Koo et al., 2025.，SCORE 在通用的文生音频上比较了 Best-of-N 和进化搜索，后者把 CLAP 和 PQ 分别提高了 10.8% 和 10.6%⁠[91] SCORE: Scaling audio generation using Standardized COmposite REwards. Jung et al., 2026.。

这些方法现在的搜索空间还没有被细粒度的描述约束住。也许，我们可以再往前推动的是搜索的目标。这样的工作我还没有看到。

衡量离目标还有多远的 benchmark

现有的 benchmark 大多不直接衡量这个目标。MuChoMusic 用 1,187 道选择题测音频语言模型对音乐的理解，发现模型过度依赖语言这一侧的信息⁠[92] MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models. Weck et al., 2024.。CMI-Bench 把传统的 MIR 标注改写成指令的形式，发现音频语言模型和专门训练的监督模型之间差距很大⁠[93] CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following. Ma et al., 2025.。MusTBench 测的是时间定位⁠[49] MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs. Kwon et al., 2026.。生成这一侧，CMI-RewardBench 和 SongEval 测的是人的偏好⁠[25] CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction. Ma et al., 2026.[26] SongEval: A Benchmark Dataset for Song Aesthetics Evaluation. Yao et al., 2025.。它们都没有直接去测一份描述能不能还原出它所描述的那段音频。

这里也许可以用上合成数据。因为工程文件是已知的，可以让理解模型去描述渲染出来的音频，再把它的描述和工程文件逐轨、逐个时间点地对比；也可以只改描述里的一处，看生成模型的输出是不是只有那一处变了。这样理解模型和生成模型可以用同一套数据来评估。

我认为这些问题非常适合由学术界来做。它们下面有大量的子问题，每个子问题都需要一个小的循环：提出问题、收集数据、训练模型、提出评估方案。它们不会占用太多训练资源，但需要跨学科、多领域的合作。每个小问题的解决都通向最后那个大目标，同时也可以被单独评估、单独使用。

最后

最近有位朋友因为我在做 AI 研究，决定不再和我联系。她认为 AI 研究正在「残害人们的灵魂」。我显然不同意她的观点，但我能理解她为什么会有这样的感受；我自己有时也会有。黑胶唱片和留声机刚发明的时候，剧院雇的管弦乐团被大量解雇；但这些技术也催生了新一代的艺术家，他们探索音效，探索非实时的叠录。更重要的是，音乐和语言传播开了，用它们的人多了很多。

我相信我做音乐的朋友们不会反感一个更好用的 Logic Pro X；我也相信用 Ableton 的朋友们已经受不了基于磁带的八轨录音机了。Suno 和类似 Suno 的模型今天还不是一个「更好用的 Logic Pro X」，但它可以是。这种细粒度的文本描述到底应该长什么样、要往里面放哪些信息，现在还是可以由我们来决定的；我们可以一起把各自的 taste 和 spirit 放进去。

如果能做到，音乐模型就能在尊重艺术家创作灵感的同时，让更多的人加入进来，也让大家真正从这个过程中获益。我们还可以把这个系统 scale 得更大、更极致，最后让它变成一种新的音乐创作工具，一个真正为艺术家、为艺术创作设计的工具。

我希望看到这件事发生；从历史来看，我认为它一定会发生。

参考文献

  1. Yuan et al. YuE: Scaling Open Foundation Models for Long-Form Music Generation. ICLR, 2026.第 8.4 节 0.5B / 2B / 7B 人评 A/B："Larger models consistently achieve higher preferences"；7B 用 1.75T token，另两个用 500B。第 3.2.1 节："Accompaniment can overshadow the vocal track, degrading lyric intelligibility."
  2. Copet et al. Simple and Controllable Music Generation. NeurIPS, 2023.表 5：300M / 1.5B / 3.3B 的 PPL 56.1 / 48.4 / 46.1，FAD 0.96 / 0.86 / 0.82，OVL 78.3 / 81.9 / 79.2；正文：主观质量在 1.5B 后不再提升，3.3B 更贴合文本
  3. Latent Space. Making Transformers Sing - with Mikey Shulman of Suno. Podcast, 2024."Our models scale similarly to text transformers. It's like bigger is usually better."
  4. Cuervo & Marxer. Scaling Properties of Speech Language Models. EMNLP, 2024."The linguistic performance of SLMs scales up to three orders of magnitude more slowly than that of text-based LLMs."
  5. Zhang et al. Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning. ISMIR, 2025.指令支持 add / remove / extract stem；指令数据用 Slakh2100 构造
  6. Suno. Introducing Suno Studio. Suno release notes, 2025.stem 生成；"Send stems out as audio or MIDI"
  7. Schaffer & Singh. RIME: Enabling Large-Scale Agentic Music Post-Production. ICML Workshop on Machine Learning for Audio, 2026.指令从 AL0（直接写明效果器和参数）到 AL2（只描述整体感觉），编辑相似度下降：GPT-Audio-Mini 0.718 → 0.519，Gemma 3n 0.687 → 0.528（arXiv v3；v1、v2 的数字是 GPT-4o Mini 0.733 → 0.449，Gemma 3n 0.673 → 0.325）
  8. Liu et al. SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation. ICML, 2025."the model tends to prioritize the more predictable accompaniment, often neglecting the vocal features"
  9. Junyoung Koh. Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches. arXiv, 2026.萨克斯、口琴、颤音琴 "often render as generic timbres"；归因于数据规模（ICME 2026 挑战赛论文）
  10. Agostinelli et al. MusicLM: Generating Music From Text. arXiv, 2023.沿用 AudioLM 的 w2v-BERT semantic token + SoundStream acoustic token；发布 MusicCaps（5.5k 条专家撰写的音乐-文本对）
  11. Li et al. MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training. ICLR, 2024.RVQ-VAE acoustic teacher + CQT musical teacher；"The MFCC features are only good at modelling acoustic and timbre information for single-pitch signals"
  12. Zhu et al. MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization. arXiv, 2025."trained to predict tokens generated by Mel Residual Vector Quantization (Mel-RVQ)"
  13. Xu et al. MuCodec: Ultra Low-Bitrate Music Codec. arXiv, 2024.第一阶段 MLM；第二阶段 mel 重建、CQT 预测，加 CTC + RNN-T 歌词识别损失
  14. Chen et al. Rethinking Music Tokenization: A Semantic Codec toward High-Fidelity LLM Music Generation. arXiv, 2026."semantics-guided alternatives are designed for speech and do not fit music well"
  15. Mousavi et al. Discrete Audio Tokens: More Than a Survey! TMLR, 2025."the acoustic-semantic distinction alone is insufficient"；音乐 "inherently polyphonic and less sparse… highly overlapping sources that are harder to disentangle"
  16. Slendebroek & Metaxa. The Algorithmic Flattening of Sound: Computational Evidence and Justice Implications of AI Music Homogenization. arXiv, 2026.72 个 MIR 特征；Lyria 3 流派内多样性下降，Suno 抹平流派差异；两者都不忠实遵循 prompt；归因于 learned priors
  17. Jonason et al. SMART: Tuning a symbolic music generation system with an audio domain aesthetic reward. AIMC, 2025."over-optimization dramatically reduces diversity of model outputs"；优化后评分常超过真实演奏，作者视为代理指标的局限
  18. Bai et al. DRAGON: Distributional Rewards Optimize Diffusion Generative Models. TMLR, 2025."optimizing per-song FAD worsens Vendi diversity score by an average of 17.7%"
  19. Kirk et al. Understanding the Effects of RLHF on LLM Generalisation and Diversity. ICLR, 2024."RLHF significantly reduces output diversity compared to SFT"
  20. Cideron et al. Diversity-Rewarded CFG Distillation. ICLR, 2025."CFG significantly decreases diversity going from 0.5 (for γ=1) to 0.3 (for γ=7)"；合并模型在 57% 的比较中更多样，质量基本持平（51%）
  21. GX-Chen et al. KL-Regularized Reinforcement Learning for Generative Modelling is Designed to Mode Collapse. ICLR, 2026.模式覆盖主要取决于正则强度及 reward 与参考概率的相对尺度，不取决于 KL 方向；低正则设置导向单峰分布
  22. Jiang et al. DiffRhythm 2: Efficient and High Fidelity Song Generation via Block Flow Matching. arXiv, 2025."As the number of preferences increases, model merging often significantly reduces the average performance"；"improving lyric alignment often compromises musicality"
  23. Kim et al. TuneJury: An Open Metric for Improving Music Generation Preference Alignment. arXiv, 2026.expert iteration，lr 1e-5：reward +0.416，MAD +0.669（越低越好）；"classic reward-exploitation signature"
  24. Cideron et al. MusicRL: Aligning Music Generation to Human Preferences. ICML, 2024.300,000 对偏好；"text adherence and quality only account for a part of it"；只用质量 reward "is prone to reward over-optimisation"
  25. Ma et al. CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction. ICML, 2026.500 条测试重标：α = 0.500（对齐）/ 0.504（音乐性）；Gemini-2.5-Pro "struggle to exceed 80% agreement"
  26. Yao et al. SongEval: A Benchmark Dataset for Song Aesthetics Evaluation. arXiv, 2025.2,399 首完整歌曲，16 位专业标注者，5 个维度
  27. Tjandra et al. Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound. arXiv, 2025.PQ / PC / CE / CU 四个维度
  28. Xiao et al. On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization. Journal of the American Statistical Association, 2025."preference collapse, where minority preferences are virtually disregarded"
  29. Betker et al. Improving Image Generation with Better Captions. OpenAI, 2023.95% 合成 + 5% 原始 caption；"GPT-4 will readily 'upsample' any caption into a highly descriptive one"
  30. Chen et al. PixArt-α: Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis. ICLR, 2024.表 1：LAION 原始 caption 6.4 个名词/图、有效名词 8.5%；LAION-LLaVA 20.9 个、13.3%；SAM-LLaVA 29.3 个、18.6%
  31. Esser et al. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. ICML, 2024.50% 原始 + 50% CogVLM caption；表 4：GenEval 43.27 → 49.78，位置 6.50 → 18.00，颜色归属 11.75 → 24.75
  32. Yang et al. CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer. ICLR, 2025.CogVLM 逐帧写 dense caption，GPT-4 汇总成视频 caption；再微调 LLaMA 2 替代汇总这一步，并用流程的产出训练端到端的 CogVLM2-Caption
  33. Chen et al. ShareGPT4Video: Improving Video Understanding and Generation with Better Captions. NeurIPS, 2024.差分滑动窗口 caption（DiffSW）；4 万条 GPT-4V 标注；ShareCaptioner-Video 标注 480 万条视频
  34. Carion et al. SAM 3: Segment Anything with Concepts. ICLR, 2026."detects, segments, and tracks objects in images and videos based on concept prompts"
  35. Brooks et al. Video generation models as world simulators. OpenAI, 2024."We apply the re-captioning technique introduced in DALL·E 3 to videos"；"leverage GPT to turn short user prompts into longer detailed captions"
  36. Polyak et al. Movie Gen: A Cast of Media Foundation Models. arXiv, 2024.微调 8B 和 70B LLaMA3 视频 captioner 标注整个训练集；70B 老师蒸馏 8B prompt rewriter
  37. Kong et al. HunyuanVideo: A Systematic Framework For Large Video Generative Models. arXiv, 2024.第 4.6 节 Prompt Rewrite
  38. Datta et al. Prompt Expansion for Adaptive Text-to-Image Generation. ACL, 2024.多个扩写 prompt 生成 "more aesthetically pleasing and diverse" 的图
  39. Brack et al. How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions. ICCV Workshops, 2025.dense caption 提升对齐但可能牺牲美学和多样性；随机长度 caption "without compromising sample diversity"
  40. Richter et al. Playing for Data: Ground Truth from Computer Games. ECCV, 2016.GTA V 2.5 万张图；游戏数据 + 1/3 CamVid 优于完整 CamVid
  41. Yang et al. Depth Anything V2. NeurIPS, 2024.teacher "purely on high-quality synthetic images"
  42. Yang et al. Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation. ACL, 2025.40 万张图、270 万条指令数据；"surpass proprietary models such as GPT-4V and Gemini 1.5 Flash"
  43. Lei et al. LeVo: High-Quality Song Generation with Multi-Preference Alignment. NeurIPS, 2025."annotate all tracks utilizing Qwen2-Audio to obtain open-vocabulary tags"；约 200 万首歌
  44. Gong et al. ACE-Step 1.5: Pushing the Boundaries of Open-Source Music Generation. arXiv, 2026.Gemini 2.5 Pro 标 500 万条 golden set；Qwen2.5-Omni 微调为 captioner 并经 RL 优化；标注全部 2700 万条样本
  45. Ghosh et al. Music Flamingo: Scaling Music Understanding in Audio Language Models. ICLR, 2026.MF-Skills 覆盖 "harmony, structure, timbre, lyrics, and cultural context"
  46. Qwen. Qwen3-Omni-30B-A3B-Captioner. Hugging Face, 2025.专用音频 captioner 模型
  47. Wu et al. FUTGA: Towards Fine-grained Music Understanding through Temporally-enhanced Generative Augmentation. NLP4MusA, 2024."Existing music captioning methods are limited to generating concise global descriptions of short music clips"
  48. Wang et al. SegTune: Structured and Fine-Grained Control for Song Generation. ACL, 2026.Audio Flamingo 3 逐段 caption；段落 prompt 按时间窗口广播为条件
  49. Kwon et al. MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs. arXiv, 2026."existing LALMs struggle with precise temporal grounding"；Music Flamingo TSG 平均 38.5，offset Hit@3s 24.0
  50. Doh et al. LP-MusicCaps: LLM-Based Pseudo Music Captioning. ISMIR, 2023."costly and time-consuming collection process"；用 LLM 从标签生成伪 caption
  51. Du et al. CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens. arXiv, 2024."supervised semantic tokens… derived from a multilingual speech recognition model by inserting vector quantization into the encoder"
  52. Locatello et al. Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations. ICML, 2019.没有对模型和数据的归纳偏置，无监督解耦学习在根本上不可能
  53. Elhage et al. Toy Models of Superposition. Transformer Circuits Thread, 2022.模型会把多于维度数的特征叠加在同一组维度里
  54. Eastwood & Williams. A Framework for the Quantitative Evaluation of Disentangled Representations. ICLR, 2018.DCI 框架：disentanglement、completeness、informativeness 分开衡量
  55. Bai et al. Seed-Music: A Unified Framework for High Quality and Controlled Music Generation. arXiv, 2024."As the lead sheet tokens lack acoustic feature characterization, we need to scale up the token-to-latent diffusion model"
  56. Gu et al. Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling. NeurIPS, 2024.自回归生成 caption、检测框等隐变量，"diversify and enrich the input conditions"
  57. Manilow et al. Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity. WASPAA, 2019.2100 首、145 小时，由 Lakh MIDI 用专业采样音源渲染
  58. Yang et al. WildFX: A DAW-Powered Pipeline for In-the-Wild Audio FX Graph Modeling. DAFx, 2026.Docker 中 headless 运行 REAPER；VST / VST3 / LV2 / CLAP；混音图与插件参数盲估计
  59. Elkins et al. DAWZY: A New Addition to AI powered "Human in the Loop" Music Co-creation. NeurIPS AI for Music Workshop, 2025."GPT-5 generates Lua that ReaPy executes to modify the project"；三个 MCP 工具
  60. Siddharth Ahuja. ableton-mcp. GitHub, 2025.社区做的 Ableton MCP 桥接
  61. Rouard et al. MuScriptor: An Open Model for Multi-Instrument Music Transcription. ISMIR, 2026.onset F1（α_CFG = 2）：纯合成 34.5，加真实微调 54.4，再加 RL 60.4；合成预训练 "highly effective, especially when only little real music audio data is available"，但单用 "not sufficient"
  62. Murgul & Heizmann. Exploring Procedural Data Generation for Automatic Acoustic Guitar Fingerpicking Transcription. AIMC, 2025.表 6 F1：程序化 66.23，真实 81.42，程序化 + 微调 83.49
  63. Kumar et al. TAC: Timestamped Audio Captioning. arXiv, 2026.用真实素材构造合成混合训练；TACOS 上 state of the art；承认 sim-to-real gap
  64. Garcia-Martinez et al. SynthSOD: Developing an Heterogeneous Dataset for Orchestra Music Source Separation. IEEE Open Journal of Signal Processing, 2025."none of the models were able to achieved strong separation results even in URMP"；作者认为主要原因是 round-robin 限制了数据的实际多样性
  65. Chaturvedi et al. Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge. NeurIPS AI for Music Workshop, 2025."Eight teams submitted valid solutions; two outperformed the baseline MT3 model."
  66. Chang et al. YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation. MLSP, 2024.输出按乐器分配的音符（音高与时间）
  67. Wu et al. Music ControlNet: Multiple Time-varying Controls for Music Generation. TASLP, 2024.随时间变化的旋律、力度、节奏控制
  68. Tal et al. Joint Audio and Symbolic Conditioning for Temporally Controlled Text-to-Music Generation. ISMIR, 2024.符号与音频联合条件、时间可控的文本生成音乐
  69. Tsai et al. MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners. ICML, 2025.轻量 conditioner 实现多种控制
  70. Yuan et al. YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality. arXiv, 2026.先写出可编辑的 ABC 乐谱（速度、拍号、调、和弦、人声与器乐旋律），再以它为条件生成 semantic token 和 acoustic latent
  71. Feng et al. StepAudio 3 Music Technical Report. arXiv, 2026.ABC-CoT：先写 ABC 记谱的编曲规划（和弦、速度、拍号、调、小节、旋律），再以它为条件预测音乐 token
  72. Xu et al. Qwen-Music Technical Report. arXiv, 2026.Melody-CoT：先生成离散的旋律 token（人声音高，以相对 MIDI 半音表示），再生成 semantic token；规划用的是旋律 token，不是 ABC
  73. Bitwig. DAWproject. GitHub, 2023.编码音频、音符、音符表情、自动化；"Plug-in states (always embedded)"；支持的 DAW 列表
  74. Engel et al. DDSP: Differentiable Digital Signal Processing. ICLR, 2020.把传统信号处理模块做成可微的，和神经网络一起训练；可以单独控制音高和响度
  75. Wu et al. MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling. ICLR, 2022.音符、演奏、合成三层的乐器模型；"enables both realistic neural audio synthesis and detailed user control"
  76. Turian et al. One Billion Audio Sounds from GPU-enabled Modular Synthesis. ISMIR, 2021.synth1B1：10 亿条 4 秒的合成声音，都带合成参数；torchsynth 在单块 GPU 上比实时快 16200 倍
  77. Dong et al. Deep Performer: Score-to-Audio Music Performance Synthesis. ICASSP, 2022."we borrow recent advances in text-to-speech synthesis"；针对复音和长音符改造 transformer encoder-decoder
  78. Hawthorne et al. Multi-instrument Music Synthesis with Spectrogram Diffusion. ISMIR, 2022.MIDI 到频谱再到音频，任意乐器组合；decoder 用自回归和 DDPM 各训了一版，"the DDPM approach is superior"
  79. Kim et al. TokenSynth: A Token-based Neural Synthesizer for Instrument Cloning and Text-to-Instrument. ICASSP, 2025."a decoder-only transformer to generate desired audio tokens from MIDI tokens and CLAP … embedding"；乐器克隆、用文本指定音色
  80. Tang et al. MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling. ISMIR, 2025.从 VALL-E 改来；MIDI 和音频都编码成离散 token；只做钢琴；在 ATEPP 和 Maestro 上 FAD 比基线低 75% 以上
  81. Yang et al. FlowSynth: Instrument Generation Through Distributional Flow Matching and Test-Time Search. arXiv, 2025."maintaining consistent timbre across different pitches and velocities, a challenge that existing note-level models struggle to address"；flow matching 加推理时搜索，超过 TokenSynth
  82. Steinmetz et al. Automatic multitrack mixing with a differentiable mixing console of neural audio effects. ICASSP, 2021."Applications of deep learning to automatic multitrack mixing are largely unexplored. This is partly due to the limited available data"
  83. Koo et al. Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects. ICASSP, 2023.用对比学习预训练的 encoder 从参考歌曲里只提取和音频效果有关的信息，把输入多轨的混音风格转成参考歌曲的
  84. Martínez-Ramírez et al. Automatic music mixing with deep learning and out-of-domain data. ISMIR, 2022."the lack of dry or clean instrument recordings limits the performance of such models, which is still far from professional human-made mixes"
  85. Hawthorne et al. Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset. ICLR, 2019.钢琴演奏的音频与 MIDI 精确对齐；以音符为中间表示的 Wave2Midi2Wave
  86. David Braun. DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces. ISMIR Late-Breaking Demo, 2021.在 Python 里宿主插件、渲染音频的 DAW 框架
  87. Ardila et al. Common Voice: A Massively-Multilingual Speech Corpus. LREC, 2020.数据的收集和验证都靠众包；"Over 50,000 individuals have participated so far"
  88. Schuhmann et al. LAION-5B: An open large-scale dataset for training next generation image-text models. NeurIPS Datasets and Benchmarks, 2022.公开的大规模图文配对数据集
  89. Novack et al. DITTO: Diffusion Inference-Time T-Optimization for Music Generation. ICML, 2024."controlling pre-trained text-to-music diffusion models at inference-time via optimizing initial noise latents"
  90. Koo et al. SMITIN: Self-Monitored Inference-Time INtervention for Generative Music Transformers. IEEE Open Journal of Signal Processing, 2025.推理时沿探针方向干预 MusicGen 的注意力头
  91. Jung et al. SCORE: Scaling audio generation using Standardized COmposite REwards. IEEE Signal Processing Letters, 2026.进化搜索（EvoSearch）"improves CLAP by 10.8% and PQ by 10.6%"，Best-of-N 为 9.2% 和 8.4%；单一 reward 引发 "verifier hacking"；实验在通用文生音频上
  92. Weck et al. MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models. ISMIR, 2024.644 首曲目上的 1,187 道选择题，全部经人工验证；发现模型 "over-reliance on the language modality"
  93. Ma et al. CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following. ISMIR, 2025.把传统 MIR 标注改写成指令遵循的形式；"significant performance gaps between LLMs and supervised models"

引用

引用本文请使用：

臧永宜. "音乐生成模型需要更细粒度的文本描述". yongyi.dev, 2026年10月. https://yongyi.dev/zh/blog/fine-grained-captions-for-music-generation/

或使用 BibTeX：

@misc{zang2026finegrainedcaptions,
  author = {Yongyi Zang},
  title  = {音乐生成模型需要更细粒度的文本描述},
  year   = {2026},
  month  = {oct},
  url    = {https://yongyi.dev/zh/blog/fine-grained-captions-for-music-generation/},
}