返回首页

关于 YuE2 与 yue2music.com

了解 YuE2 全曲音乐大模型、符号规划核心架构以及 yue2music.com 的愿景与团队。

最近更新: 2026-09-16

关于 YuE2 与 yue2music.com

YuE2 (Music, with a Plan / 乐意 2) 是由**多模态艺术投影实验室（Multimodal Art Projection, M·A·P）**联合香港科技大学（HKUST）、Tokenwave.AI、纽约大学（NYU）、斯坦福大学（Stanford）及穆罕默德·本·扎耶德人工智能大学（MBZUAI）等全球顶尖机构联合研发的新一代开源全曲音乐生成基础大模型。

yue2music.com 是官方生态下的交互式 Web 在线工作台与创作者社区，旨在将 YuE2 强大的符号规划与 Agentic 改谱能力带给全球音乐人、编曲师、独立游戏创作者与 AI 音频研究者。

核心突破：符号规划（Symbolic Planning）

传统商业 AI 音乐生成工具（如 Suno、Udio 等）通常采用“黑盒端到端”架构：用户输入提示词和歌词后，模型直接预测连续音频频谱或声学 Token。这种黑盒模式存在三大痛点：

  1. 零中间控制力：若用户觉得副歌某处和弦不满意，无法局部修改，只能重新抽卡生成整首歌；
  2. 乐理幻觉与调性漂移：容易在歌曲后半段出现跑调、节拍错乱或离调杂音；
  3. 专业断层：音乐制作人无法获取清晰的五线谱或和弦谱，难以衔接真实乐手录音或 DAW 二次编排。

YuE2 如何颠覆这一范式

YuE2 独创性地提出了音乐思维链符号规划（Symbolic Planning）：

  • 第一阶段（符号蓝图生成）：大模型首先将歌词与风格转化为格式严谨、可被人类阅读的 ABC 2.1 格式乐谱，精确确定调号、拍号、BPM 速度、小节线、主旋律走势与和弦记号（如 Dm7、G7、Cmaj7）；
  • 第二阶段（人机协同与 Agent 闭环改谱）：在投入高昂算力渲染音频前，创作者或内置的 AI Agent 可以通过自然语言直接干预乐谱（如“把副歌改成爵士和弦”、“整体升两个半音”），并在浏览器内通过即时合成器试听乐谱；
  • 第三阶段（高保真声学演绎）：当乐谱确定无误后，YuE2 流匹配扩散模型与 48kHz 神经音频 VAE 将符号蓝图精准渲染为48kHz 24-bit 广播级立体声母带音频，包含真实细腻的人声演唱与层次丰富的立体声编曲伴奏。

YuE2 基础模型生态家族

YuE2 涵盖了一系列开源科研模型与评测基准：

  • YuE2-3B：统一符号规划与声学生成的全曲主力基座大模型；
  • YuE2-VAE：48kHz 超低失真立体声神经音频编解码器；
  • SheetSage2：六合一音频转乐谱大模型，可将任意音乐录音精准转录为结构化 ABC 乐谱；
  • MERT2 / MERT2-FS：在国际音乐评估权威基准 MARBLE 全部 14 项子任务中均斩获 SOTA 的音乐自监督表征基础模型；
  • WildSongBench：包含 192 个真实多语言多流派提示词的标准化开放评测集。

联合研发机构

  • 香港科技大学 (HKUST)
  • 多模态艺术投影 (M·A·P - Multimodal Art Projection)
  • Tokenwave.AI
  • 纽约大学 (New York University)
  • 斯坦福大学 (Stanford University)
  • MBZUAI (Mohamed bin Zayed University of AI)
  • NOIZ
  • ACE Studio

我们的使命

我们的愿景是让音乐创作变得透明、可控且人人触手可及。AI 不应当是取代人类音乐家的不可控黑盒，而应当是听得懂乐理、善解人意、能够协同创作的智能副驾驶。

无论您是创作一首爵士抒情叙事曲、探索国风古琴民乐与电子乐的交融，还是为游戏配置热血战斗曲，YuE2 都将把方向盘稳稳交还到您的手中。

联系方式与开源社区