台湾中央研究院资讯科学研究所所长廖弘源：大模型能描述图片却看不懂人在做什么，需要模块化视觉理解补上缺口

一张小孩的照片输入大型视觉语言模型，模型给出的描述只有"Everything is normal"。台湾中央研究院资讯科学研究所所长廖弘源用这个例子说明，当前通用视觉模型已经具备相当程度的影像描述能力，但对于更细致、更接近真实世界需求的判断——该人物正在做什么、是否发生危险、环境中物件之间有什么关系——仍力不从心。

廖弘源认为，要跨越这个落差，中研院的方向不是重新打造另一个大型通用模型，而是发展能与大型语言模型搭配的专用视觉理解能力，包括行为分析、物件理解以及边缘端运算。他的理由很直接：边缘设备的算力与内存有限，不可能把大型模型直接放在摄影机端运作，因此多模态AI必须采取模块化方式，让不同模型各自负责适合的工作。

居家照护是这个架构最直观的验证场景。当摄影机看到有人倒下，系统不能只知道"画面中有人"，而必须判断这个人是否跌倒、是否需要协助。如果判断需要帮助，系统通过文字转语音询问"你需要帮助吗？"，待使用者回答后，再经自动语音辨识理解语音内容，串接大型语言模型，最后通报家人或联系救护单位，同时将结果回复给跌倒者。

行为分析的核心是Taiwan GBA，由中研院与中原大学、台南大学合作开发。它的关键概念是通用动作空间（Universal Action Space，UAS），灵感来自DeepMind的Kinetics-600数据集——后者收集了600种人类动作影片，每段约5至10秒。研究团队利用这些影片建立动作特征空间，让模型学习不同动作之间的关联。未来新的行为，例如跌倒、挥手或攻击，不需要重新建立完全独立的模型，而可以映射到既有的动作空间中。廖弘源用一座"综合体育馆"来形容UAS：不同运动或行为都可以在这个空间中被理解。

不过，人类行为不是单张图片就能判断，而需要理解时间变化。一个人站着与倒在地上的两张照片，看起来只是不同状态，但真正重要的是"从站立到倒下"的过程。研究团队利用Video Swin Transformer分析影片中的动态特征，找出影像中与动作相关的位置——例如打网球时，模型会关注人物手部、球拍与身体移动区域——再将这些动态资讯转换成可训练的行为特征，映射到通用动作空间中。

在居家照护应用上，研究团队利用南洋理工大学NTU RGB+D数据集进行测试，该数据集包含220种人体动作，研究团队从中挑选9种与照护相关的动作进行分析。廖弘源表示，在数据集测试环境中，模型辨识率约可达80%至90%。但他也坦承，实际部署最大的挑战不是实验室数据，而是真实环境数据。许多犯罪数据集都是模拟场景，例如有人拿刀的动作可能是表演，与真实犯罪现场存在差异。AI若要真正应用于现场，仍需要更多真实世界数据累积。

在环境理解方面，中研院由王健尧博士延伸YOLO v7、YOLO v9架构，发展G-YOLO（Generalist YOLO）。传统YOLO擅长即时物件侦测，可以快速回答"画面中有哪些东西"，例如看到街景，可以辨识有人、有车。但对自驾车或机器人而言，真正需要的是理解物件之间的关系：一群人在过马路，AI不只要知道"有人"，还需要理解这群人正在通过道路，附近有哪些建筑物，人物与周遭物件之间存在什么关系。加入G-YOLO后，模型可以生成更完整的场景描述，例如画面中约有15人在过马路，旁边有商店、建筑物与道路设施。

目前Taiwan GBA可辨识跌倒、打架斗殴、挥舞刀子等12种行为，涵盖居家照护、公共安全和校园安全的应用场景。G-YOLO则持续扩展深度估计与多视角理解能力，让AI不只知道"看到了什么"，也知道"物件在哪里、距离多远，以及彼此如何互动"。

廖弘源认为，未来自驾车、机器人与智慧照护系统，需要的不只是大型语言模型，而是一套能理解真实世界的多模态能力。大型模型让AI开始能描述世界，但要让AI真正进入世界，仍需要理解人的行动、环境变化，以及事件背后的意义。这也是中研院投入自主多模态AI研发的核心方向。