别再手动调优了！微软PromptWizard实现大规模提示优化，节省时间与成本！

文章来源：放心AI网发布时间：2025-05-18 13:14:36

近日，微软 AI 研究团队发布了开源工具 PromptWizard，这是一种基于反馈驱动的 AI 框架，旨在高效优化大型语言模型（LLM）的提示设计。提示的质量对于模型输出的优劣至关重要，然而，创建高质量的提示往往需要耗费大量的时间和人力资源，尤其是在复杂或特定领域的任务中。

传统的提示优化方法多依赖人工经验，这种方式不仅耗时，而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源，而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体来进行评估，尽管这些方法在某些情况下表现良好，但缺乏有效的反馈机制，往往导致结果不尽如人意。

PromptWizard 通过引入反馈机制，采用批判与综合的方式来反复优化提示指令和示例，显著提升任务性能。其工作流程主要分为两个阶段:生成阶段和测试推理阶段。在生成阶段，系统利用大型语言模型生成多种基于基础提示的变体，并对其进行评估，以找到表现优异的候选项。同时，框架内置的批判机制会分析每个提示的优缺点，提供反馈以指导后续的优化。经过多轮优化，系统能提升提示的多样性和质量。

在测试推理阶段，优化后的提示和示例会被应用于新的任务，确保性能的持续提升。通过这种方法，PromptWizard 在45个任务上进行了广泛实验，并在无监督和有监督的设置下取得了优异的成绩。例如，它在 GSM8K 数据集上实现了90% 的无监督准确率，在 SVAMP 上达到了82.3%。此外，相较于离散方法如 PromptBreeder，PromptWizard 的 API 调用和令牌使用量减少了多达60倍，显示出其在资源受限环境下的高效性。