第二弹 llama.cpp控制参数
llama.cpp控制参数有哪些？有什么作用？
二、控制参数解析
以下对 llama_cli的控制参数进行解析。
| 参数 | 取值 | 含义 | 备注 |
| --temp N | 浮点型 0～N | 调整生成文本的随机性（默认值：0.8） | 温度是一个超参数，用于控制生成文本的随机性。它影响模型输出令牌的概率分布。较高的温度（例如1.5）使输出更具随机性和创造性，而较低的温度（如0.5）使输出更有针对性、确定性和保守性。默认值为0.8，它在随机性和确定性之间提供了平衡。在极端情况下，0的温度总是会选择最有可能的下一个令牌，从而在每次运行中产生相同的输出。 |
| --repeat-penalty | 1.0～N | 控制生成的文本中令牌序列的重复（默认值：1.0，1.0=禁用）。 | 默认是1.0，禁用重复输出。“重复惩罚”选项有助于防止模型生成重复或单调的文本。较高的值（例如1.5）将更严厉地惩罚重复，而较低的值（如0.9）将更宽容。默认值为1。 |
| --repeat-last-n N | 整形 -1 0～N | 最后n个用于惩罚重复的令牌（默认值：64，0=禁用，-1=ctx大小）。 | “repeat-last-n”选项控制历史中要考虑惩罚重复的令牌数量。较大的值将在生成的文本中向后看，以防止重复，而较小的值将只考虑最近的令牌。值0禁用惩罚，值-1设置被认为等于上下文大小的令牌数量（“ctx大小”） |
| --penalize-nl | 无 | 在应用重复惩罚时允许对换行符的惩罚。默认是false：禁用。 | 默认的取值是false。 将换行符视为可重复的标记。设置此参数则为true。 |
| --top-k N | 整形 0～N | 将下一个令牌选择限制为K个最可能的令牌（默认值：40）。 | Top-k采样是一种文本生成方法，仅从模型预测的前k个最可能的令牌中选择下一个令牌。它有助于降低生成低概率或无意义代币的风险，但也可能限制输出的多样性。top-k的较高值（例如100）将考虑更多的标记，并导致更多样化的文本，而较低的值（例如10）将关注最可能的标记并生成更保守的文本。默认值为40。 |
| --top-p N | 浮点型 0～1.0f | 将下一个令牌选择限制为累积概率高于阈值P（默认值：0.9）的令牌子集。 | Top-p采样，也称为核采样，是另一种文本生成方法，它从累积概率至少为p的令牌子集中选择下一个令牌。这种方法通过考虑令牌的概率和要采样的令牌数量，在多样性和质量之间实现了平衡。top-p的值越高（例如0.95）将导致文本更加多样化，而值越低（例如0.5）将产生更集中和保守的文本。默认值为0.9。 |