开元来自加州大学伯克利分校和微软商酌院的商酌职员开源了 Gorilla，这是一个可能编写 API 挪用代码的大型讲话模子（LLM）。正在怀抱代码天生确实性的测验中，Gorilla 优于包罗 GPT-4 正在内的几个基线模子。
Gorilla 被描画为“LLM 的 API 利用店铺”。它基于开源大型讲话模子 LLaMA。这个 LLM 正在 APIBench 上做了调优。APIBench 是一个新的 ML 模子 API 描画数据集，托管正在 HuggingFace、TorchHub 和 TensorHub 上。Gorilla 还可能挪用 API 界说的表部文档数据库，让它正在拜候新的 API 时无需从头锻炼。借帮 Gorilla，开拓职员可能创修题主意天然讲话描画，比方“挪用图像分类模子，参数个数不多于 10M，但 ImageNet 确实性起码要抵达 70%。”然后，Gorilla 将输出 Python 代码，调东西有适应选项的 ML 模子。遵从作家的说法：
正在各个范畴，LLM 正神速普及。咱们重心合切的是那些可能降低 LLM 正在特定职业中 API 识别确实性的时间——这是这项时间兴盛中一个紧张但时时被疏忽的方面。行动一种通用讲话，API 函数不妨完毕各式体系间的有用通讯。确切利用 API 可能降低 LLM 与更宽大全国中的器材实行交互的才略。
像 GPT-4 如此的 LLM 正在包罗天生代码正在内的各式职业上都有卓着的显露。然而，它们的 API 学问正在锻炼时被“固定”了，因而，无法天生代码来挪用更新的 API。别的，它们时时会爆发幻觉——正在代码天生时，它们输出的代码可以会挪用不存正在的 API。InfoQ 之前报道过人们近来为处理这些题目所做的勤恳，比方，Meta 的 Toolformer 可能挪用表部办事 API，ChatGPT 的插件体系可能使用表部资源来加强 LLM。
只是，伯克利团队指出开元APP，那些手法是使用 API 挪用的例子来提示 LLM。比拟之下，Gorilla 的手法重视于“体系化地评估并构修一个可供另日利用的管道”。最先，商酌职员构修了 APIBench 数据集。他们从 HuggingFace 模子中央、PyTorch 中央和 TensorFlow 中央征求了通盘的模子卡。历程过滤之后，取得了一个包蕴 1645 个 API 挪用的鸠集。关于此中的每一个挪用，商酌职员利用 GPT-4 天生了一个指令 -API 对数据集，用于对 Gorilla 实行调优超越。
正在对 Gorilla 的输出实行评判时，一个合键的寻事是识别幻觉。最先开元APP，团队将幻觉界说为模子输出挪用了正在 API 界说表部数据库中不存正在的 API。这与毛病差别，毛病是指模子输出毛病地挪用了“确切存正在”的 API。团队利用所天生代码的概括语法树（AST）来成亲数据库中的 API 和用于评估的测试集。正在零样本职业中利用 AST 确实性怀抱，Gorilla 比 GPT-4 高了 20.43%超越。
Gorilla 的合键作家 Shishir Patil 到场了黑客音信合于这项职责的商酌，并回复了几个题目。当被问及该模子的许然则否应允贸易利用时，Patil 指出，Gorilla 有三个版本，基于 LLaMA 的版本没有贸易利用许可，但基于 MPT-7 base 和 Falcon-7B 的版本可能。又有一位用户问，Gorilla 与 LangChain 比拟如何样超越。Patil 回复说：
Langchain 是一个很棒的项目，它试图教代劳奈何使用提示来利用器材。咱们对此的观点是，假如你念正在数以千计的 API 之间做出抉择，那么提示不拥有可扩展性。而 Gorilla 行动一个 LLM，可能帮你挑选 API 并编写语义、语法确切的 API 挪用！它可能利便地替换 Langchain！
Gorilla 的代码和模子文献托管正在 GitHub 上。这里又有一个正在谷歌 Colab 条记本中的模子演示。开元APP超越跨越 GPT-4加州大学伯克利分校与微软钻研院配合开源大型言语模子 Gorilla
