9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉，甚至是感觉?
这个时间窗口至关重要:就在这短短的几秒钟到几分钟，人们可以关闭电力和天然气管道，将消防车移到街道上，转移到安全的地方。
- 通过填充常见模式的空白，它省去了复制粘贴的需要。
LLaVA是一个端到端训练的多模态大模型，它将视觉编码器和用于通用视觉和语言理解的Vicuna相结合，具备令人印象深刻的聊天能力。而CogAgent是在CogVLM基础上改进的开源视觉语言模型，拥有110亿个视觉参数和70亿个语言参数。
LLaVA在视觉聊天和推理问答方面表现出接近GPT-4水平的能力。在视觉聊天方面，LLaVA的表现相对于GPT-4的评分达到了85%，在推理问答方面更是达到了92.53%的超过GPT-4的新SoTA。LLaVA在回答问题时，能够全面而有逻辑地生成回答，并且可以以JSON格式输出。