Bootstrap

如何写好prompt以及评测prompt的好坏

引言

       在编写Prompt时,目标是明确、具体地指引AI生成符合期望的输出。以下是一些编写和改进Prompt的经验:

Prompt书写经验

       明确性: 确保你的Prompt清晰、具体。模糊或广泛的描述可能导致不一致的输出。同时尽量避免否定句法。

       上下文: 提供足够的背景信息以帮助AI理解你想要的结果。示例:如果在写小说角色介绍,说明角色的年龄、背景和主要冲突。

       结构化: 使用简单的句子和逻辑结构传达要求。

示例: 对于复杂任务,可以将要求分成几个步骤列出。通过few shot的方式,让大模型加深我们对于任务目标的理解,同时,告诉大模型我们的期望输出样式是什么样子的。

       限制与要求: 定义输出的限制或格式,比如字数、风格、语言等。比如限定为json输出、list输出等。

prompt评价标准

       一致性: 在采用对应的prompt多次调用后,输出是否保持一致性。

       相关性: 出的内容是否与我们在prompt里提供的上下文背景等内容相关。

       完整性: 输出是否回答完整,是否出现断句,没有回复全的情况。

       预期性: 大模型的输出是否符合我们的预期。

改进Prompt的方法

       观察输出: 查看大模型生成的文本,判断偏离预期的地方。策略: 增加或修改Prompt中的细节和背景信息以减少偏差。

       拆分任务: 如果任务复杂,将其分解为多个简单任务,并采用多个Prompt解决。策略:例如,先生成大纲,然后根据大纲生成具体内容。

       测试与迭代: 鼓励多次实验,尝试不同的措辞和格式。策略:记录不同版本的Prompt及其对应结果,以便比较、优化。

;