HuggingFace Daily Papers(社区热门论文)
63
Dream.exe:视频生成模型能否生成可执行的机器人操作?
AI 摘要
Dream.exe 是一个评估视频生成模型物理世界理解能力的框架,通过视频到执行的流水线,将生成的机器人操作视频转化为真实可执行轨迹,并在物理模拟器中验证成功率。研究评估了8个模型,包括GPT-4o、Sora、CogVideoX-5B、Meta-LLaMA 3D、GR-1等,覆盖101个手动设计的操作任务,分为三个物理复杂度等级,评测视觉质量、轨迹保真度和执行成功率。结果显示,多个模型达到了可测量的执行成功率,但视觉质量不能预测可执行性。Dream.exe即将开源。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org