ITBEAR科技资讯
2025-01-09
1月9日消息，阿里云通义万相迎来重磅升级，推出万相2.1视频生成模型，在大幅度复杂运动、物理规律遵循、艺术表现等方面全面提升。根据权威评测榜单VBench的信息显示，新版通义万相登上榜首位置，超越混元、海螺AI、Gen3、Pika等国内外视频生成模型。
通义万相登顶VBench榜单
VBench是视频生成领域的权威评测集，它一共有16个评分维度，从整体一致性、动作流畅度、画面稳定性等方面对模型进行全方位评估。VBench榜单显示，通义万相在运动幅度、多对象生成、空间关系等关键能力上拿下最高分，并以总分84.7%的成绩斩获第一。
精准理解和模拟物理世界是当下视频生成模型的核心难题，现有模型生成的视频在大幅运动、物理复杂场景表现较差，容易生成肢体扭曲、违背物理定律的视频。针对这一难题，通义万相团队采用自研高效的VAE和DiT架构，有效增强时空上下文关系建模能力。
在DiT的设计中，全新通义万相使用时空全注意机制，这一机制让模型能够更准确地模拟现实世界的复杂动态;团队还引入了参数共享机制，不仅提升了模型的性能，还有效降低了训练成本;此外，针对文本的嵌入进行优化，实现更优的文本可控性的同时也减少了计算需求。
在视频VAE方面，通义万相设计了一种创新的视频编解码方案。通过将视频拆分成若干块(Chunk)并缓存中间特征的方式，代替直接对长视频的E2E编解码过程，实现显存的使用与原始视频长度无关，从而能够支持无限长1080P视频的高效编解码，这一关键技术为任意时长视频的训练提供了新的路径。
在全新架构下，通义万相在大幅度的肢体运动和肢体旋转场景的视频生成上表现更稳定，即便是花样滑冰、游泳、跳水等运动视频也能保持肢体协调并符合正常运动轨迹。通义万相在文字视频生成上实现了突破，成为首个支持中文文字生成能力、且同时支持中英文文字特效生成的视频生成模型，可满足广告设计、短视频等领域的创作需求。
例如，用户输入“平拍一位女性花样滑冰运动员在冰场上进行表演的全景。她穿着紫色的滑冰服，脚踩白色的滑冰鞋，正在进行一个旋转动作。她的手臂张开，身体向后倾斜，展现了她的技巧和优雅”，通义万相即可精准理解语义，并生成一段接近专业滑冰运动员的视频。
据悉，目前该模型已全面开放，用户可在通义万相官网直接免费使用，个人开发者和企业用户还可在阿里云百炼调用通义万相API，进一步创造更丰富的AI工具和应用。
