6月3日，京东告示开源JoyAI-Echo长音视频生成框架。JoyAI-Echo责罚了行业三大痛点：变装难踏实一致、音色变化难抛弃、视频生成速率慢，杀青了长视频生成“又快又好”。此外，JoyAI-Echo的“边聊边改”模式，让视频创作从"静态生成"造成"动态配合"。

JoyAI-Echo在千般视频创作、数字东谈主直播、品牌营销、讲解和游戏实质坐褥等限制有普遍的愚弄后劲，它的推出，秀丽着京东在长视频生成限制杀青要紧突破，进入环球第一梯队。

四大时期翻新责罚长视频生成三浩劫题

在AI视频限制，十几秒短视频的生成质料越来越进修，但行业头疼的瓶颈依然存在：难以向分钟级长视频突破。AI视频一但拉到这一时长，就会出现以下问题：归并个变装，在不同镜头里长得不雷同；语言东谈主的音色忽高忽低以致眨眼间变声；生成速率慢到离谱，等几分钟以致半小时才调出闭幕。

以上问题，胜利导致AI长视频停留在"玩物"阶段，很难真的插足坐褥、创造价值。JoyAI-Echo的出现，透澈冲突这个僵局。JoyAI-Echo有四项时期翻新：

一是跨模态音视频记挂库，让变装再也不"变脸"。这亦然JoyAI-Echo最要津的突破。模子框架内置了一个有利的记挂库，能在多镜头生成过程中，抓续保存并调用变装的外不雅特征和语言东谈主音色信息。在长达5分钟的视频里，变装身份、视觉形象和声息音色都能保抓高度一致，再也不会出现"归并个东谈主演着演着造成另一个东谈主"的莫名情况。

二是记挂运转后历练，速率胜利提高 7.5 倍。研发团队翻新提议了记挂运转后历练经过，纠合 SFT、跨模态 RLHF 和 Distribution Matching Distillation（DMD）时期，大幅提高了生成质料，更杀青了惊东谈主的推理加快。

其中，仅DMD一项时期就带来了约7.5倍的速率提高，让长视频生成从"等半天"造成"秒出片"。

三是加入智能 "导演助理"——Director Agent，让长视频第一次杀青 "对话式剪辑"。JoyAI-Echo 不再是 "输入指示词，一次性出闭幕" 的传统器用。你用当然语言说需求，米兰milan(中国)体育官方网站它会自动帮你拆分红脚本、变装、场景和镜头。那处报怨作，胜利用对话的样子告诉它修改，它只从头生成有问题的局部镜头，无用重跑整条视频，让长视频创作从 "静态生成" 造成了 "动态配合"。

四是轻量化及时超分，高清输出不卡顿。为超过志专科实质坐褥的需求，JoyAI-Echo配套了有利的及时超分模块，解救两档辨别率提高（736×1280→1152×1920，736×1280→1472×2560）。模块通过单步超分就能生成高辨别率视频和精良化音频，即使在流式延长的敛迹下，也能保抓踏实的高清施展。

各项狡计全面跨越行业“AI长视频期间"到来

为了客不雅评估JoyAI-Echo的性能，研发团队基于100个故事、3000个镜头构建了长音视频生成评测集，从多个维度进行了全面测试。闭幕透露，JoyAI-Echo在跨镜头一致性、视频质料、文本一致性和语音实质准确率等扫数中枢狡计上都赢得了跨越施展，其中文音实质准确率更是高达0.8646，大幅跨越行业其它同类模子。

在与行业同类模子对比中，用户合计JoyAI-Echo音频质料偏好的比例为81.7%，指示词罢免偏好为80.6%，视觉好意思学偏好为63.6%，IP一致性偏好为59.4%。

JoyAI-Echo的推出，意味着AI视频生成的"长视频期间"来了。它为编造故事创作和动漫制作、数字东谈主实质坐褥和直播、品牌营销视频快速迭代、互动讲解课件生成等限制带来了全新可能，将大幅优化行业老本效果。JoyAI-Echo也预示着曩昔东谈主类不错像聊天雷同，抓续创作、修改和完善长视频实质，让高一致性、高画质、可交互的视频生成，真的走进每一个实质创作家的使命经过。

京东告示，JoyAI-Echo的代码与权重已一王人开源，当今面容页和GitHub代码仓库还是厚爱上线，供设置者和创作家体验：

https://github.com/jd-opensource/JoyAI-Echo

https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/米兰体育