深圳建设工程价格信息网站,网站建设二级页面方案,Wordpress无法显示,网站排名配色本文是LLM系列文章的内容#xff0c;针对《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》的翻译。 工具文档赋能大模型零样本的工具使用 摘要1 引言2 相关工作3 实验设置3.1 常规的工作流3.2 工具使用提示方法3.3 评估任务 4 实证研究结果4…本文是LLM系列文章的内容针对《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》的翻译。 工具文档赋能大模型零样本的工具使用 摘要1 引言2 相关工作3 实验设置3.1 常规的工作流3.2 工具使用提示方法3.3 评估任务 4 实证研究结果4.1 文档避开了示范的必要性4.2 使用文档可以有效的扩展工具4.3 使用新的照片与视频工具即插即用4.4 性能与文档质量 5 结论 摘要
如今大型语言模型LLM通过提供一些工具用法的演示来学习使用新工具。不幸的是演示很难获得如果选择了错误的演示可能会导致不希望的有偏见的使用。即使在极少数情况下演示很容易获得也没有原则性的选择协议来确定提供多少演示以及提供哪些演示。随着任务变得越来越复杂选择搜索组合增长并且总是变得棘手。我们的工作提供了一种替代演示的方法工具文档。我们提倡使用工具文档——对单个工具使用的描述——而不是演示。我们通过对视觉和语言模式中的6项任务的三个主要实证发现来证实我们的说法。首先在现有的基准测试中只有工具文档的零样本提示就足以引发正确的工具使用实现与很少的零样本提示相当的性能。其次在一个新收集的具有数百个可用工具API的真实工具使用数据集上我们表明工具文档比演示更有价值零样本文档显著优于没有文档的小样本。第三我们强调了工具文档的好处通过使用刚刚发布的未公开的最先进模型作为工具来处理图像生成和视频跟踪。最后我们强调了使用工具文档自动启用新应用程序的可能性通过只使用GroundingDino、Stable Diffusion、XMem和SAM的文档LLM可以重新发明刚刚发布的Grounded SAM和Track Anything模型的功能。
1 引言
2 相关工作
3 实验设置
3.1 常规的工作流
3.2 工具使用提示方法
3.3 评估任务
4 实证研究结果
4.1 文档避开了示范的必要性
4.2 使用文档可以有效的扩展工具
4.3 使用新的照片与视频工具即插即用
4.4 性能与文档质量
5 结论
在本文中我们检查了工具文档在使用LLM启用零样本工具方面的有效性。我们首先表明当提供工具文档时LLM可以实现与小样本同类产品相当或更好的性能。然后我们仅通过文档在新收集的API上扩展到一个更大的工具集。通过简单地插入新工具及其文档LLM能够在无需进一步演示的情况下处理图像编辑和视频跟踪中看不见的任务并复制最近流行项目的功能这表明了自动知识发现的潜力。总的来说我们通过关注LLM在文档中的内部规划和推理能力而不是通过演示明确指导其行为为LLM的工具使用提供了新的视角。
