皆妙笔1.综述
(1)模态的概念和多模态模型的应用场景
OpenAI 的多模态模型是将不同的信息来源或形式统一在一起，实现模态之间的转换和统一。其中，模态可以包括触觉、听觉、视觉、嗅觉等，而信息的媒介可以是语音、视频、文字等。多模态模型可以实现图片生成文字、图片相关推理、图片推理和数学推理、视频推理等多种功能。适用于故事生成、网页开发、图片审核、视频识别、作业答案生成等场景。
(2) OpenAI 多模态模型使用的模型和优势
OpenAI的多模态模型使用了 CLIP 模型进行文本编码和图像编码，并通过对齐它们的编码向量来实现统一。与开源模型相比，OpenAI 的模型在训练数据、算力和模型规模上具有优势，整体效果更好。根据与会者的意见，OpenAI多模态模型有更大的模型体量、更强大的推理能力和视觉提取能力。
2. 开源模型和 OpenAI自用模型的讨论
根据与会者的讨论，开源模型中的多模态模型从图片到文字的转换分为预训练和指令微调两个阶段。在指令微调阶段，只调整少量的低级模块。相比之下，OpenAI自用的视觉提取模型应该比开源的更加强大，因为采用了更多高质量的数据进行训练。与会者还指出 OpenAI的优势主要集中在图像、文本、视频和语音这四个模态上。
3. OpenAI 多模态模型的技术细节和性能
(1)模态对齐和训练的几个阶段
训练和对齐视觉与语言之间关系的几个阶段主要包括预训练和指令微调。在预训练阶段，视 觉和语言模态进行对齐，指令微调阶段通过用户自然方式提问问题来回答用户问题。
(2)训练所需的硬件和时间
训练多模态模型需要使用英伟达的显卡，如 A100 或 H100，训练一个约 70 亿参数的模型通 常需要使用多张显卡进行大约三天的训练。在预训练阶段，需要大量算力；而微调阶段因为社区中有许多开源模型可用，所需算力较低。
(3)推理阶段的硬件选择
在推理阶段，可以使用一些成本较低的推理卡，例如英伟达的 T4、A20 和 A40，产替代品如紫光展锐和寒武纪的推理卡也适用于语言模型或多模态模型的部署。
4. OpenAI 多模态模型在不同场景的应用和优势
根据与会者和与会者的讨论，OpenAI 多模态模型在处理图片的理解和识别、图片推理和数学推理、视频识别等场景中具有优势。在图片相关推理方面，模型可以识别人物、评论图片、识别电影等。在数学推理方面，模型可以解答复杂问题，如数学题和作业题。在视频推理方面，模型通过提取视频中的每一帧图片进行整体提取和训练，可以理解视频内容，并给出回答。
内容，OpenAI多模态模型的优势包括模型体量更大、有更强大的推理能力、视觉提取能力 更强等。然而，由于视觉提取模块的限制，模型在一些细节、文字和标记等方面仍然有识别困难。同时，OpenAI 的多模态模型在处理图片、声音、文本和视频方面表现出色。
Q&A
Q：这几个功能到底最核心新的是比拼的是 clip，还是比拼的是文本模型？
A：根据与会者的描述，多模态模型的核心功能是与图片相关的能力，包括图片生成文字、图片识别、图片推理等。文本模型方面，与会者提到了语言理解能力和推理能力，但相对于视觉处理模块而言，其能力有限。因此，图片处理模块是多模态模型的核心功能。
Q：这几个案例里面多模态模型适用的场景主要是哪些？
A：从与会者的描述来看，多模态模型适用的场景主要包括以下几个方面： -网页开发：多模态模型可以根据对网页的描述，生成网页的基础代码，提高网页开发的效率。-图片处理：多模态模型可以进行人物识别、图片评论、电影识别等，应用广泛，如自动化图片检测、视频审核等，且效果可能比人工更好。-图片推理：多模态模型可以进行推理，包括复杂的数 学推理，例如作业题的答案生成等。根据以上描述，多模态模型在网页开发、图片处理和图 片推理等方面具有广泛应用的潜力。
Q：多模态模型的能力取决于视觉模态和文本模态，二者缺一不可吗？
A：是的，视觉模态和文本模态的能力缺一不可。视觉模块需要能够提取图片中的细节信息，并将其交给语言模型进行描述才能给出好的回答。若视觉模块无法提取细节信息，语言模型也无法进行推理的话，无法给出较好的回答。
Q：如何理解对图片的理解以及图片事实、推理在哪些场景下有较大需求？
A：对于图片的理解，可以应用于教育领域，比如通过一张图片生成相关的故事，供儿童学习。而对于图片的事实和推理，可以应用于网页生成和广告文案生成等领域。在网页生成方面，可以直接将产品经理设计好的网页图传入多模态模型生成网页代码，提高开发效率。在广告文案生成方面，可以根据图片写出相应的广告文案，节省写手的工作量，提高工作效率 和降低成本。
Q：OpenAI 的多模态技术在哪些领域有应用价值？
A：多模态技术在广告文案、图片理解、内容审核、教育领域、医疗领域等方面都有应用价值。例如，可以将多模态模型应用于给盲人进行图片转述，实现实时图片和视频识别，代替人力完成内容审核工作，还可以用于教育领域学生作业的推理和医疗中的诊断推理等方面。
总之，只要是多模态模型能解决的问题，就都可以应用多模态技术。
Q：关于机器人和自动驾驶方面，多模态技术更适用于哪个领域？
A：机器人的多模态技术更复杂，需要根据图像理解的结果进行推理，并生成相应的控制指令。相较之下，自动驾驶目前主要还是运用强化学习等方法，而非多模态技术。在自动驾驶领域，语言模型可以作为大脑，根据识别到的图像提供下一步的指令。目前自动驾驶研究还处于探索阶段，但已经有相关工作利用多模态模型的理解和推理能力进行探索。总之，机器人领域更适合应用多模态技术。
Q：关于 2021 年 2 月的 OpenAI 开源版本和未来的发展，多模态技术的水平提升了多少？
A：关于 OpenAI多模态技术的发展阶段和能力提升的问题。回答者表示从目前发展的情况来看，OpenAI多模态技术在视觉模块方面的算法已经比较强大。在未来，无法准确评估技术水平提升了多少，但可以观察到OpenAI在不断推出新版本进行技术的改进和能力的提升。总之，OpenAI的多模态技术在视觉模块方面处于较高位置，未来还有进一步提升的空间。
Q：Blip 和 Bliptoo 相比于 clip 有什么改进，为什么效果更好？
A：Blip 和Bliptoo是OpenAI 发布的最新视觉提取模型，相较于 clip，它们在视觉提取方式上做出了改进。Blip 将整个图像编码成 32 个 token，并将这些 token 均匀分布在图像上，因此能够关注到更多的细节。此外，Blip 使用了比 clip 更多的数据进行训练，所以效果更好。
Q：为什么专家认为 OPPO的模型会比 clip 更好？
A：OPPO 拥有很强的数据收集能力，内部有很多不公开的数据，利用这些更好的数据进行模型训练，在模型结构上稍作优化，就能够获得比 clip 更好的模型效果。
Q：模型的设计和算法之间有什么关系？
A：模型的设计包括一些算法方面的选择，例如在下一个版本中，clip可能会发现矩阵部分的信息也很有用，并将这部分信息加入模型中。但是模型的基本结构大体上不会变化太多。
Q：下个月的版本会有什么提升？GBD5 与现有模型有差距吗？
A：下个月版本的提升应该与现有版本类似，不会有太大的变化。至于 GBD5 与现有模型的差距，主要可能来自于数据的积累。数据越好，清洗后的数据质量越高，模型效果就会越好。
Q：10 月份发表的 GoogleGmail 大模型与 OpenAI 有什么差别？
A：专家认为，整体来看，Google的模型可能仍然落后于OPPO，因为Google目前在模型 发展方面相对混乱。他们在OPPO开发GPT后，让Timan的团队和 Google Brain团队合作开发语言模型。但在过去一年的时间里，团队发生了很大变动，很多人离职或跳槽到OpenAI，因此可以预期Google的模型比 OpenAI的要差一些。
