【资料图】
5 月 17 日，谷歌在其 I/O 开发者大会上发布的最新通用大语言模型 PaLM2 使用的训练数据，几乎是 2022 年的上一代模型的 5 倍。该模型采用了 3.6 万亿个令牌（token）进行训练。之前版本的 PaLM 发布于 2022 年，当时使用的令牌为 7800 亿个。
新的模型比之前的大语言模型更小，这就意味着该公司的技术效率得以提升，但却可以完成更加复杂的任务。PaLM2 基于 3400 亿个参数训练，这项指标可以说明该模型的复杂程度。最初的 PaLM 则基于 5400 亿个参数训练。
因此，该模型在编程、数学和创意写作方面的表现更为优秀。根据公开披露的信息，PaLM2 比现有的任何模型都更加强大。Facebook 在 2 月份宣布的 LLaMA 大语言模型采用 1.4 万亿个令牌。OpenAI 上一次披露 GPT-3 的训练规模时表示，它当时基于 3000 亿个令牌。OpenAI 今年 3 月发布 GPT-4 时表示，它在许多专业测试中展示出 " 与人类媲美的表现 "。
谷歌和 OpenAI 都在努力吸引想要用聊天机器人代替传统搜索引擎，从而直接获取答案的用户。谷歌在一篇关于 PaLM2 的博文中表示，该模型使用了一种名为 " 计算机优化扩张 " 的新技术。这就让大语言 " 更高效、整体性能更好，包括加快推理速度、减少参数调用和降低服务成本。"
该模型针对 100 种语言进行训练，可以执行更广泛的任务。它已经被用于 25 项功能和产品，包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分，该模型共有 4 种，分别是壁虎（Gecko）、水獭（Otter）、野牛（Bison）和独角兽（Unicorn）。
随着新的人工智能应用快速进入主流，围绕底层技术的争议也越来越激烈。谷歌高级研究科学家艾尔 · 迈赫迪 · 艾尔 · 麦哈麦迪（El Mahdi El Mhamdi）于今年 2 月辞职，主要原因就是人工智能技术缺乏透明度。本周二，OpenAI CEO 山姆 · 阿尔特曼（Sam Altman）出席美国国会针对隐私和技术举行的听证会，他也认为需要设立一套新的制度来应对人工智能的潜在问题。
关键词：
