3月26日,昆仑万维肃肃发布Mureka O1模子与Mureka V6模子。Mureka O1行动公共首款音乐推理大模子,性能超越Suno、模子登顶SOTA,中国科技编削再次在AI音乐界限领跑公共。
2024年4月,昆仑万维发布了第一代音乐生成模子:Mureka V1(SkyMusic),得回了十分好的商场反响。在已往接近一年的时分里,咱们的技能团队、家具团队执续对Mureka进行升级迭代。截止面前,公共界限内也曾有荒谬100个国度和地区的用户打听咱们的AI音乐家具——Mureka。
Mureka是Music与Eureka的接续。Eureka源自希腊语的齰舌词,意为我发现了、我找到了,常用于抒发片刻得回灵感的时刻。Mureka寓意着,咱们但愿它不错将东谈主们的音乐灵感爆发时刻快速纪录下来,并创作出属于我方立场的歌曲。
Mureka V6&O1全量上线,解救解放切换,来自东方的音乐魔盒惊艳公共
Mureka V6是现时Mureka的基座模子,解救纯音乐生成,还解救10种语言的AI音乐创作,包括英语、中语、日语、韩语、法语、西班牙语、葡萄牙语、德语、意大利语和俄语。在Mureka V6中,团队引入自研 ICL(in-context learning)技能,使得声场愈加清朗,东谈主声质感和混音想象进一步强化。
Mureka O1模子是基于Mureka V6的推理优化版块,亦然公共界限内首个引入CoT的音乐模子,在推理经过中加入念念考与自我批判,大幅提高音乐品性、音乐创作效率和无邪性。
Mureka V6和O1模式解救多元化的音乐创作立场及表情抒发。曲风涵盖爵士(Jazz)、电子(Electronic)、流行(Pop)、乡村(Country)、节律布鲁斯(R&B)、灵魂乐(Soul)、蓝调(Blues)、摇滚(Rock)、舞曲(Dance)等;表情维度包括惬心、猖狂、奥妙、充满活力、哀悼等多种表情抒发。
此外,Mureka还提供两个特质音乐生生服从:
1. 歌曲参考(Reference Fuction):将音乐自己行动领导,用户可径直上传音频或Youtube聚协行动创作领导,比文本领导更径直更高档的领导形式;
2. 音色克隆(Vocal Fuction):Mureka是公共首个不错指定演唱歌手音色的AI音乐生成平台,用户不仅不错弃取官方提供的多种歌手音色,还不错上传我方的声息,让AI学习并复刻,精确模拟歌手音色,一键生成个性化专属作品。自界说歌手音色的功能宣告东谈主东谈主齐能成为AI歌手的时期肃肃到来了。
Mureka V6和O1的发布,是AI音乐行业技能荒谬的一个迫切里程碑,也阐明了AI在艺术创作中的后劲,展示了执续探索新的技能形式和艺术弘扬形式的刚劲可能性。
Mureka O1弃取业界创举自研MusiCoT技能、登顶SOTA、性能超越Suno,AI将为音乐注入灵魂
Mureka O1中包含了Mureka团队最新发布的音乐生成界限的编削接头效果——MusiCoT,具备技能来源性和前瞻性。咱们发现,业界对于音乐界限的算法职责十分少,只须少数几个团队公开了我方的职责效果。为此,咱们以论文形式公开了Mureka O1的扫尾旨趣,宽饶业界在此基础之上作念出更好的职责。
技俩主页:MusiCoT.github.io
MusiCoT诈欺了念念维链Chain-of-Thought (CoT)方法,不同于传统自记忆模子徐徐生成音频,MusiCoT初度在细粒度音频token展望前预生成举座音乐结构,大幅提高生成音乐的结构连贯性与乐器编排精确度。MusiCoT基于CLAP模子,无需东谈主工标注即具备高膨大性,并显耀提高了生成音乐的可解释性和质料。MusiCoT为高保真AI音乐生成开垦全新旅途,鼓吹音乐AI创作迈入结构化时期。
图丨Mureka自研基于MusiCoT的自记忆模辅音乐生成技能(来源:MusiCoT.github.io)
基于初度在音乐生成界限引入Chain-of-Thought(CoT)技能、算法框架的升级,Mureka O1不仅保执了低蔓延音乐生成,还显耀提高了歌词旋律契合度、演唱准确性和艺术弘扬力等,多项盘算来源于Suno V4。
通过AI基础要领深度优化,Mureka O1扫尾了行业来源的低蔓延音乐生成,提供即时、高质料的用户体验。以下实测弃取交流prompt进行输入:
图丨Mureka O1扫尾了行业来源的低延时音乐生成
在咱们的本色测试中,发音唱对率、乐段准确率、文本相干度、制作质料等客不雅盘算,Mureka V6齐显耀优于Suno V4。通过下述主流的开源模子对生成音乐进行分析测试,Mureka O1在发音明晰进程、生成乐段的精确度上遥遥来源。
图丨Mureka O1在文本生成音乐的客不雅测评中得分
音乐最终照旧要行状于东谈主的耳朵,因此主不雅评价和客不雅评价一样迫切。
在最新的音乐评测中,Mureka O1展现出不凡的音乐品性,在最终的举座听感评测荒谬了Suno V4。其中,Mureka O1在混音(Mixing)、东谈主声质感(Vocal Texture)、BGM质感(Background Music Texture)方面昭彰超越Suno V4;在配器丰富度(Instrumentation Richness)、作曲结构(Composition Structure)和旋律动机质料(Motif Quality)弘扬上相较于Mureka V6扫尾了显耀提高。这一进展标记着Mureka在音乐生成界限的执续防碍,为用户带来更丰富、更高品性的音乐体验。
图丨Mureka O1在主不雅测评中举座听感超越Suno V4
公共初度灵通API行状与模子微调功能,共建AI音乐竖立者生态
Mureka是公共首批灵通API行状的高质料AI音乐生成平台。岂论是竖立者,照旧音乐平台,面前齐不错将Mureka的音乐生成智商无缝集成到我方的家具或平台中,更容易地应用AI音乐功能拓展我方的生意价值。
图丨Mureka API行状界面(来源:Mureka官网)
面向企业和竖立者,Mureka同期灵通无邪的API行状,不仅包括音乐音频生成API,还有语音合成API:
1. 音乐API
a)方法音乐生成API:解救多种输入包括文本领导、音色参考、音频参考的音乐生成,歌词创作。通过不同维度的输入,系统可坐褥多立场音乐及纯音乐,适用于内容创作、游戏配乐、短视频等多场景应用。
b)精调独有曲库API:上传独有曲库定制专属立场,模子精调技能深度分解每一首旋律立场偏好,无需音乐学问也可松懈定成品牌音乐、个东谈主专辑等专属内容。
2. 语音API
提供AI 语音播客、佳构话语东谈主、音色克隆等 API ,用于语音播客、预制佳构音色语音合成、音色克隆等场景。
其中,Mureka同步灵通的前沿语音合成API——Mureka TTS,在与ElevenLabs、OpenAI、微软的横向评测弘扬出色。如下图所示,Mureka TTS在对话聊天类全场景效果测评中名步骤一(总体得分4.34),与一线厂商比拟,各维度均弘扬优异。
图丨Mureka TTS在对话聊天类全场景效果弘扬优异
不仅在公共界限内,初度灵通API行状,Mureka同步灵通基于Mureka V6的模子微调行状。成为公共首个灵通模子微调功能的AI音乐生成平台。
有需求的用户不错提供我方的独特地据,在咱们刚劲的基座模子之上覆按属于我方的专属音乐模子,为我方的音乐创作提高效率。诚然,你提供的数据咱们会严格守密,不会用于覆按咱们我方的基座模子,也不会深远给其他东谈主,你的模子只属于你。
这项功能让AI音乐创作愈加个性化,为音乐东谈主、制作主谈主、致使品牌和游戏竖立者提供了定制化的AI音乐惩办决策。
明天,Mureka团队将会执续在模子智商上干预,让咱们的音乐模子执续保执在公共第一梯队,同期在基座模子之上竖立更多音乐创作功能,举例音乐生成的二次剪辑、歌曲二创等等。
红色av社区宽饶公共用户登录Mureka,体验全新V6&O1模子,与公共AI音乐创作家共同探索音乐创作的无穷可能,共建AI音乐竖立者生态!