首页 > 扩展AI
PromptBench PromptBench

PromptBench

v1.0.0

类型：扩展AI更新时间：2025-04-11 14:40:28

暂无访问
简介 信息 热门 同类推荐

PromptBench,一个基于 Pytorch 的 Python 包，用于评估和理解大型语言模型的统一库。它为研究人员提供了用户友好的 API，以便对 LLM 进行评估。

大家好~这里是小编！本期【放心AI网-核心AI】带你解锁超实用AI神器，精选全网热门工具，助你一键开启智能新体验！

PromptBench，这是一个用于评估 LLM 的统一库。它由研究人员易于使用和扩展的几个关键组件组成：提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench 被设计为一个开放、通用和灵活的代码库，用于研究目的，可以促进在创建新基准、部署下游应用程序和设计新评估协议方面进行原创研究。。

PromptBench项目地址：

https://github.com/microsoft/promptbench

promptbench 目前提供什么？

快速模型性能评估：我们提供用户友好的界面，允许快速构建模型、加载数据集和评估模型性能。

提示工程：我们实施了几种快速工程方法。例如：Few-shot Chain-of-Thought [1]、Emotion Prompt [2]、Expert Prompting [3] 等。

评估对抗性提示：promptbench 集成了提示攻击 [4]，使研究人员能够模拟模型上的黑盒对抗性提示攻击并评估其鲁棒性（详见此处）。

动态评估以减轻潜在的测试数据污染：我们集成了动态评估框架 DyVal [5]，该框架以可控的复杂性即时生成评估样本。

PromptBench安装方式pip

我们为想要快速开始评估的用户提供了一个 Python 包提示台。只需运行：

pipinstallpromptbench

请注意，pip 安装可能落后于最近的更新。因此，如果您想使用最新功能或基于我们的代码进行开发，您应该通过 GitHub 安装。

通过 GitHub 安装

首先，克隆存储库：

gitclonegit@github.com:microsoft/promptbench.git

然后

cdpromptbench

若要安装所需的包，可以创建 conda 环境：

condacreate--namepromptbenchpython=3.9

然后使用 pip 安装所需的软件包：

pipinstall-rrequirements.txt

请注意，这只安装了基本的 python 包。对于提示攻击，您还需要安装 TextAttack。

PromptBench用法：

Promptbench 易于使用和扩展。通过以下示例将帮助您熟悉 promptbench 以便快速使用、评估现有数据集和 LLM，或创建自己的数据集和模型。

今天的AI工具安利就到这里啦！小伙伴们还想看哪些神器？快留言告诉小编，放心AI网-核心AI下期继续带你挖宝！

需要网络免费

资讯AI更多

相关推荐更多

Sonantic.io

Sonantic.io

扩展AI

更新时间：2025-04-04

查看

教程推荐

资讯AI 更多