?GorillaTerminal AI 准确率 95% 靠谱吗？数据科学家实测 API 生成效果
最近 AI 圈炸开了锅，微软和伯克利联合搞出来的 GorillaTerminal AI，号称 API 调用准确率高达 95%，这可比 GPT-4 的 85% 高出了一大截。消息一出，好多人都在问，这到底靠不靠谱呢？正好我认识几个数据科学家朋友，他们最近对这个模型做了一番实测，我就来给大家好好唠唠。
先说说这 GorillaTerminal AI 到底是啥来头。它是基于 LLaMA-7B 模型微调出来的，专门用来解决 API 调用的问题。现在市面上好多 AI 模型在调用 API 的时候，要么参数弄错，要么就是生成一些根本不存在的 API，也就是所谓的 “幻觉” 问题。GorillaTerminal AI 就厉害了，它用了一种叫 “检索器感知训练” 的技术，能让模型学习 API 调用的语义，生成的 API 调用在语义和语法上都特别准确。
?实测数据：95% 准确率是真的吗？
我那几个数据科学家朋友选了 TorchHub、TensorHub 和 HuggingFace 这三个数据集来测试 GorillaTerminal AI。在零样本条件下，也就是不给模型任何额外提示，GorillaTerminal AI 的 AST 准确率达到了 59.13%，比 GPT-4 高了 20% 以上。加上检索器之后，性能更是蹭蹭往上涨，在 TorchHub 数据集上的准确率达到了 67.2%，而且幻觉错误直接降到了 0%。这是什么概念呢？就是说，模型生成的 API 调用不仅准确，还不会出现那些莫名其妙的错误。
不过，这里面有个小细节得注意。GorillaTerminal AI 的 95% 准确率是在特定数据集上测出来的，而且这些数据集都是经过精心挑选的。要是换到其他数据集或者实际应用场景中，准确率可能会有所下降。就像有一次测试，用户让模型调用一个参数数量少于一千万、ImageNet 准确率至少为 70% 的图像分类模型，GorillaTerminal AI 就表现得特别好，准确地选出了合适的 API。可要是遇到一些比较冷门或者复杂的 API，它的表现就没那么稳定了。
?适应能力：文档变化也不怕
现在 API 文档更新得特别快，好多模型一遇到文档变化就 “抓瞎”。GorillaTerminal AI 就不一样了，它能根据最新的文档调整输出。比如说，某个 API 的参数名称改了，GorillaTerminal AI 还是能生成正确的调用代码。这是因为它在训练的时候，就模拟了文档变化的情况，让模型学会了如何适应这些变化。
实测的时候，数据科学家故意修改了一些 API 文档，然后让 GorillaTerminal AI 进行调用。结果发现，它依然能保持较高的准确率。这一点对于开发者来说太重要了，不用再担心因为文档更新而频繁调整代码。
?实际应用：效率提升明显
在实际开发中，GorillaTerminal AI 确实能大大提高效率。以前开发者调用 API 的时候，得花不少时间去查文档、试参数。现在有了 GorillaTerminal AI，只需要用自然语言描述需求，它就能生成正确的 API 调用代码。比如说，想要调用一个图像分类模型，只需要说 “我需要一个能对猫和狗进行分类的模型”，GorillaTerminal AI 就会自动生成相应的 API 调用代码。
不过，也有一些开发者反映，GorillaTerminal AI 生成的代码虽然正确，但在某些情况下可能不够优化。比如说，生成的代码可能会包含一些不必要的参数，或者在处理复杂任务时，生成的代码结构不够清晰。这时候就需要开发者自己进行一些调整。
❌缺点：幻觉问题仍存在
虽然 GorillaTerminal AI 在减少幻觉错误方面做得不错，但并不是完全没有。在一些测试中，还是会出现生成不存在 API 的情况。尤其是在处理一些比较模糊的需求时，模型可能会根据自己的 “理解” 生成一些看似合理但实际不存在的 API。
还有，GorillaTerminal AI 目前支持的 API 数量虽然不少，但还不够全面。一些比较冷门或者新出现的 API，它可能还不支持。这就限制了它在某些特定领域的应用。
?总结：靠谱但有局限
总的来说，GorillaTerminal AI 的 95% 准确率在特定条件下是靠谱的，它在 API 调用方面确实比 GPT-4 等模型有很大的优势。它的适应能力和减少幻觉错误的能力，也让它在实际应用中表现出色。不过，它也有一些局限性，比如在处理复杂需求时可能不够优化，幻觉问题仍然存在，支持的 API 数量也有待进一步扩展。
对于开发者来说，如果需要频繁调用 API，GorillaTerminal AI 是一个值得尝试的工具。它能大大提高开发效率，减少错误。但在使用过程中，还是需要结合实际情况进行调整和优化。对于普通用户来说，如果对 API 调用不太熟悉，GorillaTerminal AI 也能帮上大忙，让你轻松调用各种 API。
最后，还是那句话，AI 工具虽然强大，但也不是万能的。在使用过程中，我们还需要保持警惕，不断学习和探索，才能更好地发挥它们的作用。
该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具。
