“有没有想过,随手拍的一张风景照,下一秒就能变成可操控的游戏开放世界?

或者把脑海里的奇思妙想或世界名画,直接变成电影级游戏动画?

现在,腾讯混元开源的新工具Hunyuan-GameCraft,让你像导演一样‘打造’游戏场景!”

图片

图片

图片

腾讯混元最新推出的 Hunyuan-GameCraft,是基于HunyuanVideo底模的高动态交互式游戏视频生成框架,简单来说,它是一个“游戏视频生成工具”,只需要

输入一张图 + 文字描述+动作指令(按键盘方向键)

就能

输出高清动态游戏视频

无论是第一人称跑酷,还是第三人称探险,它都能实时生成流畅画面,仿佛你真的在游戏世界里自由穿梭。

图片

看看目前模型跑出来的效果👇

1、单动作场景,画面动态自然,风车自然旋转

文字描述:A picturesque village scene featuring quaint houses, a windmill, lush greenery, and a serene mountain backdrop under a bright blue sky.

请在此添加图片描述

2、多动作场景,可以同时转换视角和走动

文字描述:A sunlit courtyard features white adobe buildings with arched doorways and windows, surrounded by lush greenery and palm trees, creating a serene Mediterranean ambiance.

请在此添加图片描述

3、历史一致性,移开镜头回来之后不变形

文字描述:A medieval stone castle stands tall under a dark sky, its glowing windows contrasting with the surrounding snow-covered landscape.

请在此添加图片描述

请在此添加图片描述

4、支持第三人称视角生成

文字描述: A dark, sleek car is driving down a winding road at night, its headlights illuminating the path ahead.

请在此添加图片描述

传统游戏内容生产有三大难题:

  1. 动作僵硬、场景静态:传统运镜和游戏场景视频生成模型角色移动像机器人,运动种类单一(转身平移不能同时做);运动范围有限,只能前后走动;若依赖于静态3D场景构建,生成场景后渲染,改动的场景本身不会动,比如风车不会转、云不会飘。

  2. 长期一致性差:传统运镜和游戏场景视频生成模型视角变换回来的时候原来场景可能会消失或者改变,生成长视频时无记忆性,对历史帧信息的获取能力不足。

  3. 生产成本高 :使用人工建模实现,则需专业的游戏设计师团队和渲染团队,耗费大量人力和显卡资源。

Hunyuan-GameCraft则有以下三大优势:

✅自由流畅 :统一连续动作空间,支持高精度控制(角度/速度),支持“边跑边转视角”的复杂操作;可以生成动态内容(例如主角和NPC运动、云层移动、雨雪、水流运动等)。

✅记忆增强 :生成长视频时,角色和环境保持稳定不“穿帮”;通过混合历史条件,实现历史帧记忆,避免长视频生成时不连贯;

✅成本骤降 :无需人工建模或渲染,制作成本更低;对比现有的游戏模型闭源方案,泛化性强。阶段一致性蒸馏方案(Phased Consistency Model, PCM)和DeepCache压缩推理步数,量化13B模型支持消费级硬件RTX 4090,无需高端服务器。

这样一来,Hunyuan-GameCraft可以大幅降低游戏开发门槛,让个人创作者也能生产3A级动态内容。

图片

主要使用对象

  • 游戏开发者:快速进行原型设计以及剧情动画预演论证,节约人工建模和渲染成本
  • 视频创作者:用一张照片生成“异世界探险”短片,无需学3D建模
  • 3D设计师:可以快速将场景原画秒变动态场景,展示设计创意

体验入口&项目官网

文章来源于腾讯云开发者社区,点击查看原文