模型设置

在使用提示词时,你通常会配置一些参数以获得不同的提示结果.调整这些设置对于响应的可靠性非常重要

常见的一些参数设置及其作用

Temperature:

结果的多样化和创造性 temperature的参数值越小,更容易返回一个确定的结果 调小temperature是在增加其他可能的token的权重 实际应用方面: 对于质量保障(QA)等任务,我们可以设置较低的temperature 对于创造性任务例如创作:适当提高temperature参数值

Top_p:

也可以控制返回结果的确定性,类似于temperature 与 temperature 一起称为核采样（nucleus sampling）的技术

使用Top P意味着只有词元集合（tokens）中包含top_p概率质量的才会被考虑用于响应，因此较低的top_p值会选择最有信心的响应。这意味着较高的top_p值将使模型考虑更多可能的词语，包括不太可能的词语，从而导致更多样化的输出。

一般建议是改变 Temperature 和 Top P 其中一个参数就行，不用两个都调整。

Max Length:

生成文本的最大token数 控制成本;防止生成冗长或不相关响应

Stop Sequence

为一个字符串,阻止模型生成token,，指定 stop sequences 是控制大模型响应长度和结构的另一种方法 例如，您可以通过添加 “11” 作为 stop sequence 来告诉模型生成不超过 10 个项的列表

Frequency Penalty

这个惩罚和 token 在响应和提示中已出现的次数成比例， frequency penalty 越高，某个词再次出现的可能性就越小，这个设置通过给 重复数量多的 Token 设置更高的惩罚来减少响应中单词的重复

Presence Penalty

presence penalty 也是对重复的 token 施加惩罚，但与 frequency penalty 不同的是，惩罚对于所有重复 token 都是相同的。出现两次的 token 和出现 10 次的 token 会受到相同的惩罚。

此设置可防止模型在响应中过于频繁地生成重复的词。 如果您希望模型生成多样化或创造性的文本，您可以设置更高的 presence penalty，如果您希望模型生成更专注的内容，您可以设置更低的 presence penalty

一般建议是改变 frequency penalty 和 presence penalty 其中一个参数就行，不要同时调整两个。