做动态字体或讲解动画,画面里经常有明确的文字、位置和运动关系:小球从 A 点到 B 点,走什么线,速度多快 像这类需求,传统的 text to video 模型基本上实现不了,不是说能力不够,而是底层技术实现就不一样 无论是 Seedance 还是 runway ,都是生成一个一个像素点,很难工程化; 商汤最新发布的 SenseNova 6.8 Code2Video ( 27B )模型处理这类需求的方式是写代码,再用代码制作视频 有点类似于 Opus5.5 做的视频,还挺有意思,分享给大家: GitHub https://github.com/OpenSenseNova/SenseNova-6.8-Code2Video 在 HF 上模型权重也开源了: https://huggingface.co/sensenova/SenseNova-6.8-Code2Video 直接看案例:
这段是字体和图形之间的转换。对标题动画、产品介绍这类内容,文字本身就是画面的一部分,排版和时间安排都需要一起考虑。
模型特点可以概括为几条:
需求转代码:根据视频描述编写代码,制作动态字体、图形动画或讲解视频。 修改已有结果:通过自然语言调整颜色、运动、时间安排和场景元素。 参考视频重建:根据已有视频分析布局和运动,重建成可继续修改的代码。 创作 Skill:引导需求细化、预览和修改,把宽泛的想法变成具体视频方案。
时钟阵列对应的是元素协同。每根指针的动作都简单,合在一起才形成大数字。这类规则明确的动画,很适合拿来观察代码生成的效果。
甲烷燃烧这段把反应物和生成物的变化画出来,是知识讲解方向的例子。这里展示的是表达形式,具体科学内容仍需要单独核对。 比成片更值得展开的是:第一版出来之后,怎么继续改?下面是 brief 里的两组官方案例。 案例一:在已有翻页牌动画上连续修改。 第一版是 20 秒的复古机场提示牌,文字通过翻片切换出现。
第一次修改要求保留文字、时间安排和翻页机制,换成粉色墙面、金色边框、薄荷绿翻片的酒店大堂.成片效果如下⬇️
第二次修改在这个版本上增加飞机和旅客。要求保留已有设计,让飞机经过上方、旅客从前景走过,同时避开提示牌上的文字,效果如下⬇️
案例二:从参考片重新写代码,再改品牌和配色。 参考片是 Forma 的产品宣传视频,只输入 mp4 文件,别的一律没有
任务是分析参考片的布局与运动,再编写代码重建,并把名字换成 KITE 、画布换成浅绿色 也不用大段的其他的 prompt 和 skills ,成片直接如下⬇️
说实话挺震惊的,模型能很好的理解原视频的结构,特别是元素之间的层级关系 所以这里的 [复刻] 是重建一份新的代码实现,并不等于恢复原片的工程文件。对想参考某种产品演示节奏、再做自己版本的人,这个区别需要注意一下哈 通用代码模型也能写动画。Code2Video 是否更省修正次数、局部修改能否保住其他内容,还需要结合代码和完整记录比较。这些 GIF 展示的是官方案例的视觉结果。 INT4 、INT8 量化版本计划后续提供