信息层级：【有据可查】= 附官方文档或可信来源链接；【社区共识】= 社区用户普遍经验，未经官方确认；【待考察/推测】= 推测或暂未能核实，请谨慎对待。
1. 多模态 = 能处理不止一种"模态"
| 模态 | 输入（理解） | 输出（生成） |
|---|---|---|
| 文字 | 几乎所有 LLM | 几乎所有 LLM |
| 图片 | 多模态 LLM | 图像生成模型，或带生图能力的多模态模型 |
| 音频 | 语音对话模型、ASR | TTS、语音对话模型 |
| 视频 | 部分多模态模型 | 视频生成模型（见 AI 视频编辑与生成：素材、流程与发布检查） |
【社区共识】"支持多模态"常常只指输入能看图，不等于能看视频，更不等于能生成视频。看清楚是"理解"还是"生成"。
2. 模型是怎么"看"视频的？
【有据可查】以 Gemini API 为例，官方文档说明视频会按一定帧率采样成图像帧（默认约每秒 1 帧），并与音频轨一起处理；可以针对时间戳提问。来源：Gemini API Video understanding
2.1 由此推出的局限【社区共识】
| 局限 | 原因 | 对策 |
|---|---|---|
| 漏掉一闪而过的画面 | 抽帧之间的内容看不到 | 提高帧率（若 API 支持）或截取片段 |
| 长视频很贵 | 每帧都是一堆 Token | 先剪出相关片段 |
| 读不清小字 | 采样分辨率有限 | 关键画面单独截图提问 |
| 对动作细节判断不准 | 帧率低时运动信息丢失 | 用专门的视频理解模型 |
3. 没有"看视频"能力时的替代方案
和 给纯文本模型接视觉：OCR、描述与视觉工具 外挂视觉同理：
# 示例：每 10 秒抽一帧（需安装 ffmpeg）
ffmpeg -i input.mp4 -vf fps=1/10 frames/frame_%04d.png
【有据可查：FFmpeg 文档】
4. 常见用途与适配度
| 用途 | 适配度 | 说明 |
|---|---|---|
| 网课/会议录像总结 | ⭐⭐⭐⭐ | 主要信息在语音里，转写即可 |
| 找某段画面出现的时间点 | ⭐⭐⭐ | 原生视频理解模型更合适 |
| 分析体育动作/细微操作 | ⭐⭐ | 帧率限制明显 |
| 监控视频实时分析 | ⭐ | 需要专门系统，且注意隐私法规 |
5. 版权与隐私
- 上传他人视频分析可能涉及版权与平台条款；含人脸的视频涉及个人信息保护。【社区共识，具体以当地法律为准】
6. 本篇无法核实/需谨慎的点
- 各家模型的视频输入上限、采样策略：随版本变化，本文仅以 Gemini 文档为例。
- 不同模型对音频轨的处理方式不同，未逐家核对。
小白练习：把本文流程逐项走通
练习目标：从一段短视频得到可对照时间点的分析。
上文已介绍概念、配置和操作示例。下面侧重第一次实际操作时的顺序、检查点和结果核对；需要查具体参数时回到对应小节。命令逐条输入，看到上一条的结果后再继续。
-
先选一段自己有权使用的短视频，写出只需回答的一个问题，并记录视频时长。
-
使用原文 FFmpeg 命令前先在终端检查 ffmpeg -version，再创建 frames 输出目录。
-
分别提取关键帧和文字转写，保留时间戳；图像描述、字幕内容和推测不要混成一段事实。
-
把材料与问题一起交给模型，要求指出每项结论对应的时间点。
-
回到原视频逐个播放这些时间点；无法定位的结论标为待确认。抽样帧之间可能漏掉快速发生的动作。