Reference: Chen B, Zhang Z, Langrené N, et al. Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review[J]. arXiv preprint arXiv:2310.14735, 2023.
Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
2. Basics of prompt engineering
2.1 Giving instructions
直接给出指令。
2.2 Be clear and precise
清晰准确地描述要求。
2.3 Role-prompting
角色扮演。给模型一个特定的角色去扮演，例如一个有帮助的助手或者知识渊博的专家。例如，如果让他扮演一个历史学家，那么他的回答就倾向于更加详细并且联系上下文。
2.4 Use of triple quotes to separate
利用三引号分隔。如果prompt复杂，可以用三引号分隔不同部分，或者说作为多行字符串。这种方法在prompt复杂或者prompt本身含有引号的情况下尤其有效。
2.5 Try several times
多试几次。由于大语言模型天然具有不确定性，你可以多试几次，然后选一个比较好的输出。这常常意味着重采样（resampling），包括用同样的prompt将模型运行多次。
2.6 One-shot or few-shot prompting
单跳或多跳提示。单跳是指给模型单个例子去学习，多跳是多个。
2.7 LLMs settings: temperature and top-p
temperature用于控制模型输出的结果的随机性，这个值越大随机性越大。一般我们多次输入相同的prompt之后，模型的每次输出都不一样。
设置为0，对每个prompt都生成固定的输出。
较低的值，输出更集中，更有确定性。
较高的值，输出更随机（更有创意）。
Top-p（核采样）参数是另一个影响语言模型生成文本的关键参数。与temperature参数不同，top-p参数通过限制生成文本的候选词汇范围来影响多样性。具体而言，top-p参数表示在生成每个词时，仅考虑概率最高的p%的候选词汇。
3. Advanced methodologies
3.1 Chain-of-thought
思维链。可以通过“让我们一步一步想”这样的简单提示词显著地提高LLM准确性。这样，LLM会输出完整的推理过程。
3.2 Self-consistency
自洽性。自洽性是一种保证LLM生成的各个相应之间保持一致（不相互冲突）的提示词方法。它包括三步：先用思维链提问；然后生成不同的推理路径；最后从这些推理路径的结果中找一个最稳定的（出现次数最多的）。
3.3 Generated knowledge
生成的知识。利用LLM在给出最终答案之前生成对问题潜在有用的信息。这种方法对常识问题尤其有用。例如，思维链的例子里，生成的一系列参考信息就有助于LLM做出最后的决策。
3.4 Least-to-most prompting
最少到最多提示。这种方法把一个复杂问题结构为多个小问题，依次处理。
3.5 Tree of thoughts
思维树。思维树采用结构化的方法引导LLM进行推理和响应。它通过探索多种推理路径强化LLM的问题解决能力。
3.6 Graph of thoughts
思维图。与思维树不同，思维图提供了一个更加复杂的框架来表示LLM生成的信息。思维图的核心概念是将信息建模成一张任意图。在这张图中，每个信息单元都被表示为一个节点。图中的边表示节点之间的关系。
3.7 Retrieval augmentation
检索增强。提示词工程的另一个方向是减少幻觉。我们使用AIGC工具（例如GPT-4）时，一个常见的问题叫做“幻觉（Hallucinations）”，这是指模型会生成不真实或不准确的内容。可能这些内容看似语法正确，但缺乏事实支持。幻觉产生的原因是模型没有找到足够的判据，或是因为过于注重生成一段流利有条理的内容模式。
减少幻觉的一个重要方法就是检索增强，即为模型提供外部数据，从而保证模型有足够的最新的信息用于生成响应。
4. 多模态大模型
4.1 Zero-shot and few-shotprompting
4.2 Continuous prompt vectors
4.3 Context optimization
4.4 Conditional prompt learning
4.5 Multimodal prompt learning
5. Assessing the efficacy of prompt methods
现在已有一些评估LLM输出质量的方法，包括主观的和客观的。
6. LLMs security
提示词工程不仅对优化模型表现很重要，它也对提高安全性很重要。高效的提示词工程可以使模型的弱点暴露出来，这些弱点可能会在对抗攻击、数据污染、或其他恶意活动中被利用。
7. Prospective methodologies
除了前面介绍的基础的和进阶的方法，还有一些提示词思路非常值得探索，这一章介绍了一下未来可能会被用到的前瞻性的方法。
7.1 Better understanding of structures
这里的结构指的是大模型的结构。大模型本质上是由神经网络一层一层构成的，理解他们之间的相互关系，理解各个参数、权重的作用能够更好地帮助设计提示词方法。
7.2 Agent for AlGC tools
Reference: Chen B, Zhang Z, Langrené N, et al. Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review[J]. arXiv preprint arXiv:2310.14735, 2023.
Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review
2. Basics of prompt engineering
2.1 Giving instructions
直接给出指令。
2.2 Be clear and precise
清晰准确地描述要求。
2.3 Role-prompting
角色扮演。给模型一个特定的角色去扮演，例如一个有帮助的助手或者知识渊博的专家。例如，如果让他扮演一个历史学家，那么他的回答就倾向于更加详细并且联系上下文。
2.4 Use of triple quotes to separate
利用三引号分隔。如果prompt复杂，可以用三引号分隔不同部分，或者说作为多行字符串。这种方法在prompt复杂或者prompt本身含有引号的情况下尤其有效。
2.5 Try several times
多试几次。由于大语言模型天然具有不确定性，你可以多试几次，然后选一个比较好的输出。这常常意味着重采样（resampling），包括用同样的prompt将模型运行多次。
2.6 One-shot or few-shot prompting
单跳或多跳提示。单跳是指给模型单个例子去学习，多跳是多个。
2.7 LLMs settings: temperature and top-p
temperature用于控制模型输出的结果的随机性，这个值越大随机性越大。一般我们多次输入相同的prompt之后，模型的每次输出都不一样。
设置为0，对每个prompt都生成固定的输出。
较低的值，输出更集中，更有确定性。
较高的值，输出更随机（更有创意）。
Top-p（核采样）参数是另一个影响语言模型生成文本的关键参数。与temperature参数不同，top-p参数通过限制生成文本的候选词汇范围来影响多样性。具体而言，top-p参数表示在生成每个词时，仅考虑概率最高的p%的候选词汇。
3. Advanced methodologies
3.1 Chain-of-thought
思维链。可以通过“让我们一步一步想”这样的简单提示词显著地提高LLM准确性。这样，LLM会输出完整的推理过程。
3.2 Self-consistency
自洽性。自洽性是一种保证LLM生成的各个相应之间保持一致（不相互冲突）的提示词方法。它包括三步：先用思维链提问；然后生成不同的推理路径；最后从这些推理路径的结果中找一个最稳定的（出现次数最多的）。
3.3 Generated knowledge
生成的知识。利用LLM在给出最终答案之前生成对问题潜在有用的信息。这种方法对常识问题尤其有用。例如，思维链的例子里，生成的一系列参考信息就有助于LLM做出最后的决策。
3.4 Least-to-most prompting
最少到最多提示。这种方法把一个复杂问题结构为多个小问题，依次处理。
3.5 Tree of thoughts
思维树。思维树采用结构化的方法引导LLM进行推理和响应。它通过探索多种推理路径强化LLM的问题解决能力。
3.6 Graph of thoughts
思维图。与思维树不同，思维图提供了一个更加复杂的框架来表示LLM生成的信息。思维图的核心概念是将信息建模成一张任意图。在这张图中，每个信息单元都被表示为一个节点。图中的边表示节点之间的关系。
3.7 Retrieval augmentation
检索增强。提示词工程的另一个方向是减少幻觉。我们使用AIGC工具（例如GPT-4）时，一个常见的问题叫做“幻觉（Hallucinations）”，这是指模型会生成不真实或不准确的内容。可能这些内容看似语法正确，但缺乏事实支持。幻觉产生的原因是模型没有找到足够的判据，或是因为过于注重生成一段流利有条理的内容模式。
减少幻觉的一个重要方法就是检索增强，即为模型提供外部数据，从而保证模型有足够的最新的信息用于生成响应。
4. 多模态大模型
4.1 Zero-shot and few-shotprompting
4.2 Continuous prompt vectors
4.3 Context optimization
4.4 Conditional prompt learning
4.5 Multimodal prompt learning
5. Assessing the efficacy of prompt methods
现在已有一些评估LLM输出质量的方法，包括主观的和客观的。
6. LLMs security
提示词工程不仅对优化模型表现很重要，它也对提高安全性很重要。高效的提示词工程可以使模型的弱点暴露出来，这些弱点可能会在对抗攻击、数据污染、或其他恶意活动中被利用。
7. Prospective methodologies
除了前面介绍的基础的和进阶的方法，还有一些提示词思路非常值得探索，这一章介绍了一下未来可能会被用到的前瞻性的方法。
7.1 Better understanding of structures
这里的结构指的是大模型的结构。大模型本质上是由神经网络一层一层构成的，理解他们之间的相互关系，理解各个参数、权重的作用能够更好地帮助设计提示词方法。