要点
- 谷歌的AI模型Gemini有三种变体:Ultra、Pro和Nano,专注于不同的任务和复杂程度。
- Gemini Ultra 在关键 AI 基准测试中显示出令人鼓舞的结果,但截至 2023 年 12 月,尚未可供公众使用。 谷歌表示,它应该会在 2024 年 1 月上市。
- Gemini Pro 已经上市,虽然它的性能相当不错,但目前还无法取代 GPT-4。
谷歌一直承诺其 Gemini AI 模型将优于 OpenAI 的 GPT-4(为 ChatGPT Plus 提供支持的模型)。 现在 Google Gemini 已经推出,我们终于可以对其进行测试,看看 Gemini 与 GPT-4 相比如何。
当 Google 于 2023 年 3 月推出 Bard 时,有很多理由令人兴奋。 最终,OpenAI 对 ChatGPT 的垄断将被打破,我们将获得有价值的竞争。
但巴德从来都不是人们所希望的人工智能巨头,GPT-4 仍然是占主导地位的生成式人工智能聊天机器人平台。 现在,谷歌的 Gemini 来了——但期待已久的人工智能模型比 ChatGPT 更好吗?
谷歌的 Gemini AI 模型是什么?
Gemini 是 Google 最强大的生成式 AI 模型,能够理解和操作不同的数据格式,包括文本、音频、图像和视频。 这是谷歌试图从其最强大的人工智能技术中汲取能力来创建统一的人工智能模型。 Gemini 将提供三种型号:
在其官方博客上, 关键词谷歌表示,Gemini Ultra 在多项基准测试中均优于最先进的技术。 谷歌声称 Gemini Ultra 在几个关键基准测试中击败了业界领先的 GPT-4。
谷歌表示,Gemini Ultra 在严格的 MMLU 基准测试中取得了前所未有的 90.0% 分数,是第一个在这项涵盖 57 个科目的多方面测试中超越人类水平表现的模型。
Gemini Ultra 还可以理解、解释和生成一些世界上最流行的编程语言的高质量代码,包括 Go、JavaScript、Python、Java 和 C++。 从纸面上看,这些都是很好的结果。 但这些都是基准,基准并不总是能说明全部情况。 那么,双子座在现实世界的任务中表现如何?
如何使用谷歌Gemini AI
在 Gemini AI 模型的三个变体中,您现在就可以开始使用 Gemini Pro。 Gemini Pro 目前可在 Google 的 Bard 聊天机器人上使用。 要将 Gemini Pro 与 Bard 一起使用,请前往 bard.google.com 并使用您的 Google 帐户登录。
Google 表示 Gemini Ultra 将于 2024 年 1 月推出,因此我们目前只能满足于针对 ChatGPT 测试 Gemini Pro。
Gemini 与 GPT-3.5 和 GPT-4 的比较
当任何新的人工智能模型推出时,都会针对 OpenAI 的 GPT 人工智能模型进行测试,该模型通常被认为是其他模型应该对抗的最先进模型。 因此,我们使用 Bard 和 ChatGPT 测试了 Gemini 在数学、创意写作、代码生成和准确处理图像输入方面的能力。
从我们能想到的最简单的数学问题开始,我们要求两个聊天机器人解决:-1 x -1 x -1。
巴德先行。 我们重复了这个问题两次,但都得到了错误的答案。 我们在第三次尝试时确实得到了答案,但这不算数。
我们尝试在 GPT-3.5 上运行 ChatGPT。 第一次试验就成功了。
为了测试 Gemini 的图像解释能力,我们要求它解释一些流行的模因。 它拒绝了,称它无法解读有人的图像。 运行 GPT-4V 的 ChatGPT 愿意并且能够完美地做到这一点。
我们尝试了另一种尝试,让它解释图像,同时测试其解决问题和编码的能力。 我们给运行 Gemini Pro 的 Bard 提供了一张屏幕截图,并要求它解释和编写 HTML 和 CSS 代码来复制屏幕截图。
这是源屏幕截图。
下面是 Gemini Pro 尝试使用 HTML 和 CSS 解释和复制屏幕截图。
这是 GPT-4 尝试复制屏幕截图的尝试。 考虑到 GPT-4 历来在编码方面表现出色,这一结果并不令人意外。 我们之前演示过使用 GPT-4 从头开始构建 Web 应用程序。
我们要求 Gemini Pro 创作一首关于特斯拉(电动汽车品牌)的诗。 它显示出与我们过去所做的测试相比略有改善。 结果如下:
此时,我们认为将结果与 GPT-3.5 进行比较,而不是与增压的 GPT-4 进行比较会更合适。 因此,我们要求运行 GPT-3.5 的 ChatGPT 创建一首类似的诗。
这可能是个人选择,但 Gemini Pro 对此的看法似乎更好。 但我们会让你来做法官。
Gemini 比 ChatGPT 更好吗?
在 Google 推出 Bard 之前,我们认为这将是我们一直在等待的 ChatGPT 竞赛,但事实并非如此。 现在,Gemini 来了,而且到目前为止,Gemini Pro 似乎还不是给 ChatGPT 带来致命一击的机型。
谷歌表示 Gemini Ultra 将会好得多。 我们真诚地希望它是这样的,并且它达到或超过 Gemini Ultra 公告中的要求。 但在我们看到并测试谷歌生成式人工智能工具的最佳版本之前,我们不知道它是否能取代其他人工智能模型竞争对手。 就目前情况而言,GPT-4 仍然是无可争议的人工智能模型冠军。