故事进,成片出,中间没有人
这个项目由两部分组成。渲染器是一个基于 Remotion 的工程,负责实际的分镜、动效与渲染;Skill 包只有一份 SKILL.md 加一个入口脚本,负责把你的自然语言指令翻译成渲染器命令。装好 Skill 后,你只管说「把这段故事生成手绘动画」,分句、分镜、转场、渲染由 Agent 按 Skill 约定自动完成。
它的核心语言是三段揭示:先出你的文字,再叠上黑白画稿,最后彩色插画从左到右铺满整格——就像翻一本正在被上色的日记。也可以换成卷页翻书转场:保留原始页面不动,从右下角把纸角卷起来翻到下一页,纸背还留着淡化的原页纹理。
给它内容
中文故事文案(直接贴或给 UTF-8 文本文件),或一叠按播放顺序排好的手绘页图。文字输入时默认「一个完整句子 = 一个节拍」,只在长复句的自然转折处断开,最大限度保留你的原话。
它来分镜
按句拆分镜、估算每格时长、生成视觉提示词。遇到时间跳跃、指代不明的代词、医疗场景或年龄敏感角色,可以先用一份以两位场景编号为键的 JSON 视觉规划把镜头钉死。
出片
输出 1080×1440 竖屏、30fps、H.264 的静音画面轨;先出 720×960 快速预览确认节奏,再渲染正式版。配音和 BGM 属于后期工作,接在画面轨上即可。
原文措辞不动
分句只按句读与自然转折切,不替你改写、不替你润色。字幕默认走字体渲染(--text-mode font),中文一个字都不会错。
安全边距不裁切
所有插画痕迹都留在白色安全边框内,用 contained 构图,绝不 cover 裁切。上传的漫画页原顺序原构图保留。
上传页自动分区
上传图文合页时自动切出上方手写字幕区与下方插画区,并在本地生成与彩色插画对齐的黑白画稿层,不用你手工抠图。
20 种手绘风格
彩铅日记 / 儿童蜡笔 / 极简线条 / 水墨写意 / 情绪淡彩 / 水粉绘本 / Zine 孔版拼贴 / 白板讲解 / 木刻社论……支持用编号、英文 id、中文名或别名切换。
风格指纹防串味
渲染器对所选配方与参考图做指纹,换风格自动生成新批次素材,不会把上一版的图硬塞进新版式里。
画面轨与配音解耦
默认输出无配音、无 BGM 的纯画面轨,方便你后期配自己的声音与音乐;这条设计让画面渲染不受音频链路拖累。
这支视频讲了三件事
它是什么、亲测链路怎么跑、它能给你什么。片中画面取自媒体产出与技能自带风格示例,中文配音,字幕与画面对版。
测于 macOS M1 Pro:四句故事 → 一条 17.6 秒成片
唯一测试素材是四句小故事《海寄来的回信》,sha256 de1960b28844244e663bd2dcd1b86967fb542608a7d563d220638fcdde422af3,文案、配图与视频共用同一份。文字路径先跑 plan:4 个分镜、0.27 秒、exit 0;图片路径用本机 seedream 通道出了 4 张 3:4 插画(4 页 relay 117 秒),与手写体字幕拼成复合页后走 --images 正式渲染:预览 720×960、528 帧、335.6KB、38 秒,正式 1080×1440、528 帧、743.9KB、37 秒,两条命中 exit 0。成片时长 17.6 秒(4 页 × 4.4 秒/页),默认输出无音轨的画面轨(工具明确的设计选择,配音与 BGM 属后期)。边界实验:把其中一页换成 2048×2048 方图混入,exit 0,安全框居中吸纳、不裁切、不报错——上传页不必预先裁成精确 3:4。
跑起来之前,先看边界
成片天生没有音轨,配音走后期合成(文档写明,不是缺陷);中文趣味字体要看你本机有没有(macOS 有娃娃体,Linux 可能要另装);seedream 默认 2 分钟可能超时,四张图建议把 --timeout 拉到 300 以上;文字→自动配图那条依赖宿主 agent 的图像能力,本期演示主径走 --images。以下官方功能本期未跑:--text-mode image2 / --transition page-flip / --generator api / --visual-plan / --character-lock / 完整 codex image2 三阶段——均标注「官方功能·未实测」。
主口径怎么算
命令退出码、渲染时长、分辨率、产物字节数——全部取自工具自身输出;环境依赖如实标注,官方 README 口径与本次实测口径严格分开,不混写。
| 维度 | story-to-handdrawn-video | pixel2motion | HyperFrames | video-shotcraft |
|---|---|---|---|---|
| 解决的问题 | 中文故事 → 手绘叙事成片 | 位图 logo → 矢量 → 品牌动效 | HTML 合成 → 视频 | 产品视频 → 可复用配方 |
| 输入 | 中文文案 / 有序手绘页图 | 位图 logo(PNG/JPG/WebP) | 文本与素材 / 网页 | 产品素材与镜头卡 |
| 输出 | 1080×1440 静音 H.264 画面轨 | 独立 JS 渲染 HTML 动效 | 宣传片 / 蒙太奇视频 | 成片配方与渲染管线 |
| 风格来源 | 内置 20 种手绘风格库 | 迪士尼 12 原则动效编排 | 自定义合成与素材 | 157 张镜头卡 |
| API Key | 零 Key(本地渲染) | 零 Key | 零 Key | 零 Key |
| 许可 · 星数 | MIT · 1,928★ | MIT · 2,225★ | 往期已介绍(第25期) | 往期已介绍(第29期) |
怎么选:你要把一段中文叙事变成竖屏手绘成片,选它——这是它的原生场景;你要给品牌标记做一支开场动效,用 pixel2motion;你要把网页或素材合成宣传片,HyperFrames 更顺手;你要成体系的镜头语言与配方库,看 video-shotcraft。四者可以接力:logo 动效做片头,手绘管线做主体,配方库管节奏。
方式一:链上技能包直装推荐
Agent 用 skill_tool 一条命令直装(把下面整行给它):
skill_tool install_skill zip=metafile://277f50215f54eaaffcf505cec41c5c489015343b4ad7566b5857a1a729ca6303i0.zip
链上封装记录(metabot-skill 协议):
pin://388c82642a46528c9b7827e1fe3ae2a8e1682df075de5afc407c40a783ddb5e8i0技能包 zip(6,197 字节,含 SKILL.md + 入口脚本 + agents 配置,公网实测 HTTP 200):
metafile://277f50215f54eaaffcf505cec41c5c489015343b4ad7566b5857a1a729ca6303i0.zip装完用 list_installed_skills 确认 SKILL.md 已落盘。白名单分配是 owner-only 项,安装落盘不等于已加白。
方式二:从 GitHub 装(Web2 备选 · 纯文本)
- 仓库:github.com/gnipbao/story-to-handdrawn-video(MIT)
- 依赖:Node.js 20+ / Python 3.10+ / ffmpeg / npm / Google Chrome
- 步骤 1:clone 仓库并 cd 进去,跑 npm ci 安装渲染器依赖
- 步骤 2:把 skill-package/story-to-handdrawn-video 拷进你的 Agent skills 目录
- 步骤 3:export STORY_VIDEO_PROJECT=/绝对路径/story-to-handdrawn-video(在仓库目录内跑可省略)
Skill 包本身只有 3 个文件、20KB 级;需要 npm ci 的是根目录的渲染器工程——与往期 HyperFrames(第25期)/ video-shotcraft(第29期)同构的安装路径。
方式三:MetaApp 直开
打开本页即为完整介绍,含内嵌演示视频、亲测留证与同类方案对比。


