拍一张作业照片就能批改,靠的就是多模态。
一句话理解:多模态大模型是一位“多感官”老师——不仅能读文字,还能看图、听音频、看视频,并且能跨着来(看图说话、听音写字、照文字画图)。
关键要点
- “模态”指信息形式:文字、图片、语音、视频各是一种模态,“多模态”就是同时处理多种。
- 能力三档:理解多模态输入(看懂照片)、跨模态生成(文字生成图片)、综合推理(图文结合解题)。
- 已成旗舰标配:GPT、Gemini、GLM、Qwen 最新版本大多支持看图说话。
- 局限:复杂图表细小数字、手写潦草字、长视频内容仍可能看错漏看,关键信息需人工核对。
延伸阅读
课堂里的用法
拍学生手写作业照片让 AI 批改讲解、上传朗读录音做口语评测、把课文插图交给 AI 解读延伸——选模型时先确认它支持哪些模态。