← 返回资料中心

CatVerse 音画叙事数据结构设计

版本:v1.0 | 日期:2026-09-16 | 状态:待总工签发 依据:《CatVerse ABC三线统一架构 v1.0》§3.2 / §3.3 / §4.3 / §6.1;管理机结构三公理 作者:总工(Kimi)| 存放:管理机资料中心 /opt/catverse/data/documents/design/


1. 定位

本设计是 A线(创作层)音画叙事能力的数据契约,解决三件事:

  1. 分场层"音画意图"(intention)与分镜头层"音画执行"(line)的数据结构;
  2. 音频资产库(audio_assets)的建库与编码规约;
  3. B线按契约把音画字段装配进任务包(§4.3)的匹配规则。

边界:本文档只定义 Schema、DDL、目录结构、匹配伪代码,不含执行代码。

2. 设计原则

| 原则 | 含义 | |---|---| | 并存不重建 | scenes/shots 表已存在且有存量数据,一律 ALTER TABLE ADD COLUMN,禁止 DROP/重建(保留审计记录) | | DB 唯一数据源 | 平台页面、B线任务包、C线执行全部以 SQLite 主库为准(公理 1) | | 意图与执行分层 | 场层写"要什么"(intent),镜头层写"具体哪句/哪段"(line),B线只消费镜头层 | | 码制统一 | 音频资产沿用 BA/CA 编码风格:TTS_* / SFX_* / BGM_*,全局唯一,可溯源 | | 留档不泄漏 | prompt_enhancement 类字段永不直接进入生成提示词(生产域血泪规则) |

3. 五级数据结构(JSON Schema 摘要)

继承现有五级:Project → Episode → Scene → Shot → AudioTrack(镜头内的音轨时间轴)。 Project/Episode 两层复用现有表不动,本次新增的是 Scene 音画意图字段、Shot 音画执行字段、AudioAsset 资产库。

3.1 Scene 层(音画意图层)

{
  "scene_id": "EP1-SC1",
  "scene_goal": "用环境寂静与纸箱微动建立'被发现'前的悬念",
  "narration_intent": { "mood": "克制、观察式", "perspective": "阿福第三人称有限视角" },
  "dialogue_intent":  { "present": false },
  "subtitle_intent":  { "style": "屏幕下方居中,白字细黑边", "density": "低" },
  "bgm_intent":       { "emotion": "孤独+微暖", "instrument": "钢琴单音", "intensity": 0.3, "fade": "in:2s/out:2s" }
}

字段落库:scenes 表新增 scene_goal TEXT, narration_intent TEXT, dialogue_intent TEXT, subtitle_intent TEXT, bgm_intent TEXT(意图为 JSON 文本,整包存储,键名即契约)。

3.2 Shot 层(音画执行层)

{
  "shot_id": "EP1-S001",
  "visual_desc": "雨夜巷口环境,潮湿地面反光,远处纸箱轻微晃动",
  "narration_line": { "text": "那个雨夜,我以为世界只有纸箱这么大。", "voice": "TTS_NARRATOR_001", "emotion": "低语", "start_time": 0.5, "duration": 3.0 },
  "dialogue_line":  null,
  "subtitle_line":  { "text": "那个雨夜,我以为世界只有纸箱这么大。", "style": "default_white", "start_time": 0.5, "end_time": 3.5 },
  "sfx": [ { "asset_id": "SFX_RAIN_002", "intensity": 0.6, "start_time": 0.0 }, { "asset_id": "SFX_BOX_RUSTLE_001", "intensity": 0.4, "start_time": 1.2 } ],
  "bgm_intent": { "asset_id": "BGM_PIANO_MELANCHOLY_003", "duck_under_narration": true }
}

字段落库:shots 表新增 visual_desc TEXT, narration_line TEXT, dialogue_line TEXT, subtitle_line TEXT, sfx TEXT, bgm_intent TEXT(全部 JSON 文本;sfx 为数组)。 既有字段约定:shots.type 即纲领 §3.2 的 shot_type(推/拉/跟/俯拍…),不重复建列;shots.prompt_hint 保留为渲染提示词留档,音画字段独立存储。

3.3 AudioAsset(音频资产库)

{
  "asset_id": "BGM_PIANO_MELANCHOLY_003",
  "type": "bgm",
  "name": "钢琴·忧郁独白",
  "emotion": "孤独/微暖",
  "tags": ["piano", "slow", "rainy-night"],
  "file_path": "bgm/BGM_PIANO_MELANCHOLY_003.mp3",
  "duration": 32.0,
  "source": "licensed_cc0 / tts_generated",
  "status": "active"
}

4. 表结构 DDL(SQLite,全部 additive)

-- ① scenes 补音画意图字段
ALTER TABLE scenes ADD COLUMN scene_goal TEXT;
ALTER TABLE scenes ADD COLUMN narration_intent TEXT;
ALTER TABLE scenes ADD COLUMN dialogue_intent TEXT;
ALTER TABLE scenes ADD COLUMN subtitle_intent TEXT;
ALTER TABLE scenes ADD COLUMN bgm_intent TEXT;

-- ② shots 补音画执行字段
ALTER TABLE shots ADD COLUMN visual_desc TEXT;
ALTER TABLE shots ADD COLUMN narration_line TEXT;
ALTER TABLE shots ADD COLUMN dialogue_line TEXT;
ALTER TABLE shots ADD COLUMN subtitle_line TEXT;
ALTER TABLE shots ADD COLUMN sfx TEXT;
ALTER TABLE shots ADD COLUMN bgm_intent TEXT;

-- ③ 音频资产库(新表)
CREATE TABLE IF NOT EXISTS audio_assets (
  id INTEGER PRIMARY KEY AUTOINCREMENT,
  asset_id VARCHAR(50) UNIQUE NOT NULL,
  type VARCHAR(30) NOT NULL,              -- tts_narration / tts_dialogue / sfx / bgm
  name VARCHAR(200),
  description TEXT,
  emotion VARCHAR(50),
  tags VARCHAR(500),
  file_path VARCHAR(500),                 -- 相对 /opt/catverse/data/audio/ 的路径
  duration FLOAT,
  speaker VARCHAR(100),
  source VARCHAR(100),                    -- tts_generated / licensed_cc0 / recorded
  status VARCHAR(30) DEFAULT 'active',
  created_at DATETIME
);

-- ④ 生成记录(数据溯源,纲领 §6.2;与 shots 挂钩,不回写覆盖创作层)
CREATE TABLE IF NOT EXISTS generation_records (
  id INTEGER PRIMARY KEY AUTOINCREMENT,
  record_id VARCHAR(50) UNIQUE,
  shot_id VARCHAR(50),
  episode_no INTEGER,
  scene_id VARCHAR(50),
  batch_id VARCHAR(50),
  stage VARCHAR(20),                      -- draft / final
  gen_type VARCHAR(30),                   -- base_image / wan_video / composite / upscale
  params TEXT,                            -- JSON:模型/步数/种子/分辨率…
  result_path VARCHAR(500),
  qc_result TEXT,                         -- JSON:鬼影/双猫/偏色/审核结论
  status VARCHAR(30),
  created_at DATETIME
);

5. 音频资产目录结构

/opt/catverse/data/audio/
├── narration/    # 旁白 TTS:TTS_NARRATOR_*.mp3(按集分子目录 ep1/…)
├── dialogue/     # 角色对话 TTS:TTS_AFU_*.mp3
├── sfx/          # 环境音/动作音:SFX_RAIN_*.mp3 …
├── bgm/          # 背景乐:BGM_*_*.mp3
└── _staging/     # 入库前暂存,登记 audio_assets 后移入正式目录

规则:文件落盘即登记 audio_assets(asset_id 唯一);asset_id 即任务包引用键,路径由 B线解析,C线不猜路径。

6. 编码规约

| 前缀 | 含义 | 示例 | |---|---|---| | TTS_NARRATOR_{nnn} | 旁白员音色 | TTS_NARRATOR_001 | | TTS_{CHAR}{nnn} | 角色音色(CHAR 取角色名拼音大写) | TTS_AFU_001(阿福内心独白慎用,见 R4 边界条款) | | SFX{场景/动作}{nnn} | 音效 | SFX_RAIN_002、SFX_BOX_RUSTLE_001 | | BGM{情绪/乐器}_{nnn} | 背景乐 | BGM_PIANO_MELANCHOLY_003 |

7. B线装配规则(伪代码)

function build_task_package(shot_id):
    shot   = db.shots[shot_id]              # 唯一数据源
    scene  = db.scenes[shot.scene_id]
    assert shot.exchange_diagram_commutes    # 镜头target与场event一致,不一致→驳回(宪法§2.2)

    audio = {}
    if shot.narration_line: audio.narration = resolve_tts(shot.narration_line)      # 按 voice/emotion 查 audio_assets
    if shot.dialogue_line:  audio.dialogue  = resolve_tts(shot.dialogue_line)
    audio.sfx = [resolve_sfx(s) for s in (shot.sfx or scene_default_sfx(scene))]
    audio.bgm = resolve_bgm(shot.bgm_intent or scene.bgm_intent)

    return {
        "task_id": f"{shot_id}_{stage}_WAN_{run_no}",
        "shot_id": shot_id,
        "video_params": stage_params(stage),          # draft 512x288 / final 768x432(纲领§5.3)
        "audio_assets": audio,
        "composition": {"layers": ["background_plate","foreground_cat","ffmpeg_camera"],
                        "camera_move": camera_map[shot.type]},   # 推/拉/跟→zoom_in/out/pan
        "qc_standard": {"no_ghost": True, "no_duplicate_cat": True, "min_resolution": stage_min}
    }

镜头语言映射表(camera_map,C线 FFmpeg 实现,生成模型不参与):

| shot.type | camera_move | |---|---| | 推镜头 | slow_zoom_in | | 拉镜头 | slow_zoom_out | | 跟镜头 | pan_follow(背景板反向平移) | | 俯拍/低角度 | 固定 + 轻微手持抖动 | | 固定长镜头 | 固定 + 呼吸感微动 | | 正反打 | cut_between(剪辑层,非镜头运动) | | 慢镜头 | 后期 retime + RIFE,禁用生成端慢放 |

8. 迁移步骤(按序执行,每步可回滚)

  1. 备份:cp catverse.sqlite local_backups/pre_audio_schema_$(date +%Y%m%d_%H%M%S).sqlite
  2. 执行 §4 的 ①②③④(全部为 ADD COLUMN / CREATE IF NOT EXISTS,不动存量行)
  3. 验证:sqlite3 catverse.sqlite ".schema shots" 确认新列;平台页面刷新无异常
  4. 音画字段初稿回填:EP1-EP5 的 scenes/shots 按现有 episodes.summary/scenes.event 派生草稿(narration_line 标 "status":"draft"),交创作层(哥)审定后才升为 final
  5. audio_assets 首批入库:TTS 音色 2 个 + EP1 所需 SFX 清单 + BGM 情绪候选 5 条
  6. record_change.sh 记档

9. 验收清单

10. 变更记录

| 版本 | 日期 | 内容 | |---|---|---| | v1.0 | 2026-09-16 | 初版:音画字段 Schema、DDL、音频库、B线装配规则 |