大模型迈入应用元年 昆仑万维推出中国首个音乐SOTA模型,天工,技术(shu),SkyMusic

技术(shu)层之(zhi)外(wai)，这可能也是AI应用领域(yu)的潜(qian)在引(yin)领者之(zhi)一。与“天工3.0”一同(tong)开启公测的还有昆仑万维的AI音乐生成大模型“天工SkyMusic”，该大模型在小范围邀测时已经激起不小的音乐创作浪潮。

而不仅是音乐，“天工3.0”当前已将AI能力集成进搜索(suo)、写作、长文(wen)本阅读、对话、代码等多个高频应用场景，为大模型领域(yu)即(ji)将开启的落地应用之(zhi)战筹备砝码。至此，一个完整的AI大模型技术(shu)与应用生态正在成型。

这是AI大模型叙事最重要的章节(jie)之(zhi)一，它(ta)可能就此建立一条行业分水岭。

天工SkyMusic，引(yin)领AIGC音乐浪潮

自(zi)OpenAI将大模型推上行业风口以来(lai)，属于中国市场的“百(bai)模大战”已经拉开序幕一年有余，进入2024年，行业关注点开始从(cong)技术(shu)研发向应用落地逐渐倾斜——无可置否，大模型的落地应用才(cai)是决定其技术(shu)与价值的长尾指标。

就所有内容模态而言，音频内容是相比文(wen)本和图(tu)片更好理解(jie)人类情感的方式，同(tong)时，音乐也是人类情感表达最充沛(pei)且(qie)不受地域(yu)和文(wen)化限制的内容载体。因(yin)此，众多落地场景之(zhi)中，音乐创作成为普罗大众最易上手和感受到趣味性(xing)的AIGC场景。对于AI公司而言，这是一个将自(zi)己推向C端市场、获得大众认知的有利机(ji)会。

天工SkyMusic正是昆仑万维面向音乐行业发布的大模型，此前于4月2日面向社会开启邀测，今天随天工3.0正式发布。该大模型自(zi)邀测阶段就受到行业专家及音乐从(cong)业者的广泛关注，它(ta)不仅是国内唯一公开可用的AI音乐生成大模型，同(tong)时也是中国首款(kuan)AI音乐大模型SOTA模型，更是中国的自(zi)研大模型技术(shu)第一次在AIGC领域(yu)领跑全球。

在大模型领域(yu)中，SOTA模型指的是被(bei)认为是“State of the Art”（SOTA）的模型。正如(ru)OpenAI被(bei)视为文(wen)本大模型和视频生成大模型的SOTA，"State of the Art"这个术(shu)语通常用于描述某个特定领域(yu)或技术(shu)中当前最先(xian)进、性(xing)能最好的技术(shu)或方法。

在与海外(wai)顶尖的AI音乐大模型Suno V3的横(heng)向测评中，天工SkyMusic在人声&BGM音质、人声自(zi)然度、发音可懂度等领域(yu)显著领先(xian)对手，并以6.65分的综合(he)得分超越(yue)Suno V3，成为全球AI音乐SOTA模型。

目前，AI音乐生成有两大技术(shu)路径，分别是符号音乐生成路线和大模型音乐音频生成路线。前者是指先(xian)标注大量乐谱，再训练(lian)模型，最后生成的结果也是乐谱，需要额外(wai)的算法或工具将乐谱转换(huan)成音乐；后者则(ze)是直(zhi)接学习并生成音频波形，乐器、人声、旋律、音量、音符等等都一体化端到端生成，但这种方式不仅艰难、成功经验稀缺，还需要高昂的算力和资(zi)金。

天工SkyMusic选(xuan)择的是技术(shu)意义上更难的音频生成路线。不仅如(ru)此，由于这一路线所覆盖的Song、BGM（Background Music）、Speach三个领域(yu)中，Song领域(yu)因(yin)为包含人声、生成技术(shu)难度更高，始终没有出现极佳方案(an)。对此，天工SkyMusic投入大量资(zi)源实现了一定技术(shu)突破，使得该领域(yu)的生成质量终于得到提升(sheng)。

值得注意是，天工SkyMusic是音乐AIGC领域(yu)罕(han)见公开自(zi)身技术(shu)路径的产(chan)品。其由“Encoder-DiT-Decoder”三大核心(xin)模块(kuai)组成的技术(shu)路线图(tu)，成为了“音频路线+人声Song路线”的重要技术(shu)参考(kao)。

相较(jiao)于行业中的同(tong)类产(chan)品，天工大模型带动天工SkyMusic拥有了更突出的产(chan)品优势(shi)。

例如(ru)，其拥有独创的参考(kao)音乐生成与方言歌曲生成的能力。参考(kao)音乐生成是指，用户可上传自(zi)有参考(kao)音乐，或选(xuan)择“天工SkyMusic”资(zi)料(liao)库中现有的参考(kao)音乐，从(cong)而生成风格、唱(chang)腔(qiang)类似的歌曲，这种能力能够结合(he)创意、技术(shu)和音乐制作技巧，让用户利用现有的音频资(zi)源来(lai)创作出更加丰(feng)富多彩的音乐作品；

方言歌曲生成能力包含粤(yue)语、成都话、北京话、上海话等，这不仅能扩大其受众范围，还能加强音乐创作生成的多样性(xing)。同(tong)时，基(ji)于强大的数据库及训练(lian)模型，天工SkyMusic还可打造出更具辨识度的自(zi)然人声，这也将使其区别于普通音乐AIGC产(chan)品较(jiao)浓的“AI人声质感”。

此外(wai)，天工SkyMusic可通过歌词(ci)控制情绪(xu)变化，实现如(ru)颤音、歌剧(ju)、吟唱(chang)等多种歌唱(chang)技巧，还支持创作说唱(chang)、民谣、放克、古风、电子等多种音乐风格。

这种音乐创作上的灵活性(xing)和普适性(xing)，为天工SkyMusic的创作成果带来(lai)了更多趣味。在其公布的大量demo中，《龙行龘龘》演绎(yi)了戏曲唱(chang)腔(qiang)与电子音乐如(ru)何(he)完美融合(he)；《悟空》从(cong)歌词(ci)上贴合(he)了人物本身的传奇色彩与不羁性(xing)格，其独特理解(jie)与领悟最终与旋律合(he)二为一；《Pack my bags》则(ze)诠释了欧美流行音乐的精(jing)妙之(zhi)处(chu)，其女声唱(chang)腔(qiang)兼具欧美女歌手的音色与技巧。

借此，天工SkyMusic得以大幅降低音乐创作的门槛，让每个用户都能够更加容易创作属于自(zi)己的旋律和歌曲，这使其有望成为行业中最重要的全民音乐创作工具之(zhi)一。而随着该音乐大模型的不断(duan)进化，它(ta)还有可能加入专业音乐人改(gai)善(shan)创作质量、提高创作效率(lu)的辅助进程(cheng)中，逐步(bu)推动建立属于自(zi)己的AI音乐创作者生态。

开源MoE大模型的时代来(lai)临

事实上，天工SkyMusic只是昆仑万维迈向AIGC大千世界的第一站。自(zi)天工3.0发布后，这一大模型将覆盖听、说、读、写、画(hua)、唱(chang)等更多高频AIGC应用场景，正式开启一个多模态大模型时代。

从(cong)单一模态逐渐过渡到多模态，进而构建世界模型，是业界共识度最高的，迈向AGI的演进路径。而在OpenAI展现GPT-4和GPT-4V的能力之(zhi)后，行业便一直(zhi)在等候一个更具场景覆盖力的多模态大模型，将大模型技术(shu)的应用现实进展再往前推一把(ba)。

昆仑万维“天工3.0”正是登(deng)场于这样的背景之(zhi)下。“天工3.0”采(cai)用了4000亿级参数MoE混合(he)专家模型，是全球模型参数最大、性(xing)能最强的MoE模型之(zhi)一，并已同(tong)步(bu)选(xuan)择开源。相较(jiao)上一代，其在模型语义理解(jie)、逻辑推理、通用性(xing)、泛化性(xing)等领域(yu)均有明显提升(sheng)。

具体而言，“天工3.0”的模型能力提升(sheng)集中于逻辑推理能力、语义理解(jie)能力、专项Agent训练(lian)和内容创作能力四大方面。逻辑推理方面，“天工3.0”数学与推理能力均提升(sheng)超过30%；语义理解(jie)则(ze)能够更好理解(jie)和处(chu)理用户自(zi)然语言Query中的复杂(za)语义信息，包括隐喻(yu)、多义词(ci)等。

专项Agent训练(lian)是此次模型能力提升(sheng)的核心(xin)。当前，AI Agent（智能体）已经成为大模型技术(shu)的主流落地方向，而“天工3.0”针对模型独立规划、调用、组合(he)外(wai)部工具及信息的模型Agent能力进行了专项训练(lian)，使其能够独立生成并调用代码，完成包括图(tu)表绘制、工具调用、语义判断(duan)等多项复杂(za)用户需求。

自(zi)此，“天工3.0”成为具备多个领域(yu)专业知识和能力的全能专家。它(ta)能够对复杂(za)任务进行拆解(jie)优化，更深入理解(jie)用户需求，也具备实时判断(duan)并调用专用模式扩展基(ji)座模型的能力，最大程(cheng)度提升(sheng)模型性(xing)能。诸如(ru)产(chan)业研究、产(chan)品横(heng)评、信息分析、图(tu)片生成、图(tu)表绘制等需求场景，已经可以由“天工3.0”较(jiao)为高效覆盖。

对AI用户而言，“天工3.0”性(xing)能升(sheng)级最直(zhi)观的价值就体现在AI搜索(suo)场景上。在信息呈现方式上，天工AI的研究模式可提高问答的专业性(xing)质，围绕用户的某个简(jian)单指令进行相关问题的延伸，自(zi)动生成研究大纲(gang)、图(tu)谱、实践总结、思(si)维导图(tu)，而增强模式可对模糊问题做进一步(bu)引(yin)导，帮助用户获取更有效的信息，提高回复质量。

同(tong)时，天工3.0展现出行业同(tong)类AI搜索(suo)引(yin)擎所不具备的差异化优势(shi)。——它(ta)不仅有文(wen)本回复能力，还有图(tu)文(wen)并茂能力，在文(wen)本回答的同(tong)时附带图(tu)片或视频，帮助用户加强信息理解(jie)。

在内容创作层面，基(ji)于专项Agent训练(lian)等带来(lai)的性(xing)能提升(sheng)，“天工3.0”的内容创作能力已有跨阶段性(xing)发展。

在基(ji)础推理与理解(jie)方面，天工3.在数学推理能力的提升(sheng)，也让它(ta)能够更准确(que)地理解(jie)用户需求。

在上一代AI搜索(suo)、AI语音、AI对话、AI二次元漫画(hua)生成等强大内容创作能力基(ji)础上，“天工3.0”又发展出了更强的多模态性(xing)能，例如(ru)在对话中，结合(he)文(wen)本需求实时生成图(tu)片、或实时分析内容及图(tu)表的能力，成为了集合(he)听、说、读、写、搜、画(hua)、看、唱(chang)等能力的千亿级开源MoE大模型。

至此，天工3.0得以实现多模态的深度融合(he)与应用。对行业而言，这将带来(lai)更高效智能的解(jie)决方案(an)，同(tong)时降低AI技术(shu)的研发门槛和使用成本，最大化共享技术(shu)能力和经验。

降低AIGC使用门槛，推动产(chan)业升(sheng)级

从(cong)ChatGPT惊艳亮相那一天起，就持续关注AI大模型发展的用户们，大概可以体会到“天工3.0”给行业带来(lai)的显著冲击力——它(ta)不仅在技术(shu)层面提高了自(zi)身竞(jing)争力，也在实际应用层面逐步(bu)覆盖当下高频应用场景，同(tong)时向搭建大模型应用生态的目标大步(bu)前进。

在这一视角(jiao)下，天工3.0的发布意义不只是大模型应用场景的升(sheng)级，它(ta)还加速了AI应用的普及，促使更多企业和开发者参与到AI引(yin)领的科技变革中。

从(cong)天工SkyMusic到天工3.0释放的多模态能力，行业已经可以预(yu)测到昆仑万维意图(tu)掀起的AIGC浪潮。

因(yin)为不仅是中国首个音乐AIGC SOTA，作为全球最大规模开源MoE大模型，天工3.0有能力带领更多领域(yu)的创作者群体自(zi)由出入AIGC的理解(jie)与生成的通道，利用多模态的深度融合(he)与应用，大幅降低内容生产(chan)的门槛与成本，重新定义创作效率(lu)和质量标准。这种影(ying)响力将逐步(bu)促进整个内容生产(chan)行业进化，释放更多的创作力和内容价值。

这不仅是一家公司的使命愿景，也是一个行业实现突破的硬性(xing)阶段目标。为此，昆仑万维已付诸多年实践。

自(zi)发布天工系(xi)列(lie)大模型以来(lai)，昆仑万维已在AGI和AIGC两大方向上完成自(zi)己的业务矩阵布局：从(cong)千亿级大语言模型到多模态AI内容生成能力，从(cong)AI搜索(suo)、AI音乐、AI 社交等再到国内领先(xian)的AI Agent开发平台，无论是模型技术(shu)还是工程(cheng)能力，都竭力站稳国内AI企业头部阵营，做好为产(chan)业提供(gong)支撑的准备。

在这背后，走向AGI和促进AIGC应用发展，始终是这家企业的目标与使命。如(ru)今，随着“天工3.0”的发布与展示，昆仑万维在“All in AGI与AIGC”这一战略(lue)征程(cheng)上再下一城(cheng)，即(ji)将把(ba)大模型战事推向新的高潮。