深圳、杭州—— 人工通用智能（AGI）领域近期迎来多项重大进展，预示着一个崭新时代的到来。一方面，智平方科技在深圳重磅推出新一代通用智能机器人AlphaBot 2，标志着AGI终端设备进入实用化阶段；另一方面，阿里巴巴通义实验室开源其Wan2.1系列模型中的首尾帧生成视频模型，为视频创作领域带来革命性变革，进一步降低了AI技术的使用门槛。
智平方AlphaBot 2：AGI终端的破晓
重新定义机器人：空间智能与自主学习
智平方科技发布的AlphaBot 2并非传统意义上的工业机器人或服务机器人，而是定位于通用智能机器人。其核心竞争力在于搭载了智平方全栈自研的全域全身VLA大模型Alpha Brain。这一模型赋予了AlphaBot 2卓越的空间智能和自主学习能力，使其能够理解、适应并完成各种复杂任务，而无需进行专门的训练。
传统机器人往往需要针对特定任务进行编程或示教，这限制了其应用范围和灵活性。AlphaBot 2则摆脱了这一束缚，它能够通过感知环境、理解指令，并自主规划行动路径，从而完成诸如物品搬运、环境清洁、甚至简单的维修等任务。这种“即插即用”的特性，极大地降低了机器人的使用门槛，使其能够更广泛地应用于家庭、商业和服务等领域。
全域感知与全身操作：硬件架构的支撑
AlphaBot 2的强大能力并非仅仅依赖于软件算法，其硬件架构也为其提供了坚实的基础。该机器人配备了360°全空间探测感知系统，能够实时获取周围环境的精确信息。这包括视觉、听觉、触觉等多种传感器数据，以及激光雷达、深度摄像头等空间信息。
此外，AlphaBot 2还拥有全身自由度操作能力，这意味着它可以灵活地控制各个关节，完成各种精细动作。这种灵活性对于机器人执行复杂任务至关重要，例如在狭小空间内抓取物体、避开障碍物等。
值得一提的是，AlphaBot 2还具备强大的续航能力，能够长时间持续工作，减少了人工干预的需求。这对于商业和服务场景尤为重要，例如在餐厅或酒店中，机器人可以长时间地为顾客提供服务。
AGI终端的未来：无限可能
AlphaBot 2的发布，标志着AGI技术正逐步从实验室走向现实应用。它不仅仅是一个机器人，更是一个AGI终端，一个能够理解、学习和适应环境的智能平台。
随着AGI技术的不断发展，AlphaBot 2的应用前景将更加广阔。它可以被应用于：
- 家庭服务： 帮助老人和儿童，提供陪伴、安全监控等服务。
- 商业服务： 在餐厅、酒店、商场等场所提供导购、清洁、送餐等服务。
- 工业生产： 在工厂车间执行重复性、危险性高的任务，提高生产效率和安全性。
- 医疗健康： 协助医生进行手术、护理病人，提供远程医疗服务。
AlphaBot 2的出现，预示着一个AGI终端的新时代正在开启。未来，我们将看到更多具备通用智能的机器人走进我们的生活，改变我们的工作方式和生活方式。
通义万相：开源首尾帧生视频模型，赋能视频创作
DiT架构的突破：高效与一致性
阿里巴巴通义实验室开源的Wan2.1系列模型中的首尾帧生成视频模型，采用了先进的DiT（Diffusion Transformer）架构，在技术上实现了多项突破。DiT架构的核心在于利用Transformer模型来学习图像或视频的扩散过程，从而实现高质量的生成。
Wan2.1模型采用了高效的视频压缩VAE（Variational Autoencoder）模型，显著降低了运算成本，使得高清视频生成更加高效且经济。VAE是一种生成模型，可以将高维的图像或视频压缩成低维的潜在空间表示，然后再从潜在空间中解码生成新的图像或视频。通过优化VAE模型，可以减少生成过程中的计算量，提高生成速度。
此外，模型的Transformer部分基于主流的视频DiT结构，通过Full Attention机制精准捕捉长时程的时空依赖关系，确保了生成视频在时间与空间上的高度一致性。Full Attention机制可以关注到视频中所有帧之间的关系，从而更好地理解视频的内容和结构，生成更加连贯和自然的视频。
首尾帧控制：精准变换与画面稳定
本次发布的首尾帧生视频模型在基础架构模型上，引入了额外的条件控制分支，用户输入的首帧和尾帧作为控制条件，通过这一分支实现了流畅且精准的首尾帧变换。这意味着用户可以通过指定视频的起始帧和结束帧，来控制生成视频的内容和风格。
具体而言，首帧与尾帧同若干零填充的中间帧拼接，构成控制视频序列。该序列进一步与噪声及掩码（mask）进行拼接，最终作为扩散变换模型（DiT）的输入。通过这种方式，模型可以学习到首尾帧之间的过渡关系，并生成符合用户期望的视频。
为了实现画面稳定性控制，通义万相首尾帧生视频模型提取了首帧和尾帧的CLIP语义特征，并通过交叉注意力机制（Cross-Attention Mechanism）将其注入到DiT的生成过程中。CLIP是一种多模态模型，可以将图像和文本映射到同一个语义空间中。通过提取首尾帧的CLIP特征，模型可以更好地理解图像的内容和风格，并生成与之匹配的视频。
训练与推理优化：性能与效率并重
通义万相首尾帧生视频模型在训练和推理过程中都进行了大量的优化，以提高性能和效率。
在训练阶段，模型采用了基于线性噪声轨迹的流匹配（Flow Matching）方法。对于文本与视频编码模块，采用了数据并行（DP）与完全分片数据并行（FSDP）相结合的分布式策略；对于扩散变换模型（DiT）模块，运用了数据并行（DP）、完全分片数据并行（FSDP）、环形注意力机制（RingAttention）以及Ulysses混合的并行策略。这些并行策略使得模型能够支持分辨率为720p、时长为5秒的视频切片训练。
在推理阶段，为了在有限内存资源的条件下支持高清视频推理，通义万相首尾帧生视频模型分别采用了模型切分策略以及序列并行策略。此外，通义万相首尾帧生视频模型采用了效果无损的步骤间缓存和CFG cache方法，以及在部分层（如qkvo投影层和前馈网络FFN）中使用FP8 GEMM运算，同时实现了FlashAttention3 INT8与FP8混合算子以对注意力机制部分进行8比特量化。在确保推理效果无损的前提下，这些优化措施显著缩短了推理时间。
数据驱动：分阶段能力提升
模型的训练分为三个阶段，逐步对能力进行提升：
- 第一阶段： 使用与基模型相同的数据集，在480p分辨率下进行图生视频、任意位置插帧、视频续写等任务的混合训练，帮助模型掌握有效的掩码（mask）机制。
- 第二阶段： 构建专门用于首尾帧模式的训练数据，筛选出首尾帧差异较大的视频片段，在480p分辨率下专注于优化首尾帧生成能力。
- 第三阶段： 采用高精度数据集，在720p分辨率下完成最终训练，确保生成视频的细节复刻与动作流畅性达到最佳水平。
开源赋能：视频创作的未来
通义万相首尾帧生视频模型的开源，将极大地推动视频创作领域的发展。开发者和创作者可以利用该模型，快速生成高质量的视频内容，降低视频创作的门槛。
该模型可以被应用于：
- 短视频创作： 快速生成各种风格的短视频，满足用户个性化的需求。
- 动画制作： 辅助动画师完成动画制作，提高效率和质量。
- 广告设计： 快速生成各种创意广告，吸引用户的眼球。
- 教育培训： 制作生动有趣的教学视频，提高学习效果。
通义万相首尾帧生视频模型的开源，将为视频创作领域带来无限可能。未来，我们将看到更多基于AI技术的创新应用，改变我们的视频观看和创作方式。
AGI的未来：机遇与挑战
智平方AlphaBot 2的发布和通义万相首尾帧生视频模型的开源，都标志着AGI技术正在加速发展。AGI技术的进步将为社会带来巨大的机遇，但也面临着一些挑战。
机遇：
- 提高生产效率： AGI技术可以自动化执行各种任务，提高生产效率和降低成本。
- 改善生活质量： AGI技术可以提供个性化的服务，改善人们的生活质量。
- 促进科技创新： AGI技术可以推动科技创新，加速各领域的发展。
挑战：
- 伦理问题： AGI技术可能带来一些伦理问题，例如隐私保护、算法歧视等。
- 安全问题： AGI技术可能被滥用，造成安全风险。
- 就业问题： AGI技术可能取代一些工作岗位，导致失业问题。
面对AGI的未来，我们需要积极应对机遇和挑战，制定合理的政策和规范，确保AGI技术能够健康发展，为人类带来福祉。
结语
智平方AlphaBot 2的发布和通义万相首尾帧生视频模型的开源，是AGI领域的重要里程碑。它们不仅展示了AGI技术的巨大潜力，也预示着一个AGI新时代的到来。未来，随着AGI技术的不断发展，我们将看到更多创新应用涌现，改变我们的生活和工作方式。我们期待着AGI技术能够为人类带来更加美好的未来。
Views: 3