跳到主要内容
版本:2.0.x

自定义 LLM 调用参数

选择主模型后,可进一步配置 LLM 调用参数,微调模型的行为和输出风格。可用参数由所选的 LLM 服务提供商决定,不同提供商支持的参数和取值范围可能存在差异。

在 Agent 编辑器中选择或切换模型后,模型卡片下方会自动展示该模型支持的参数配置项。

通用参数

以下为常见参数,具体可用项以界面实际展示为准:

  • Temperature(温度):控制输出随机性。值越低输出越确定和聚焦,值越高输出越多样和随机。取值范围通常为 0–2,默认值因模型而异
  • Max Tokens(最大输出 Token 数):限制模型单次输出的最大 Token 数量。达到该值后输出会被截断。请根据任务复杂度合理设置
  • Top P:核采样参数,控制候选词的累积概率阈值。值越小生成结果越确定,值越大多样性越高。通常与 Temperature 配合使用,建议只调整其中之一
  • Frequency Penalty(频率惩罚):根据 Token 在已生成文本中出现频率施加惩罚,降低重复内容的概率。取值范围通常为 0–2
  • Presence Penalty(存在惩罚):对已出现的 Token 施加惩罚,鼓励模型探索新话题。取值范围通常为 0–2

推理模型参数

部分模型支持推理能力(如 DeepSeek-R1、OpenAI o 系列等),配置中会出现:

  • Reasoning Effort(推理努力程度):控制模型在推理上投入的计算量。可选值通常为 lowmediumhigh,值越高推理越深入但响应时间也更长

自定义模型的 JSON 配置

如果使用的模型不在平台预置的提供商列表中,参数配置区域会切换为 JSON 编辑器。在该编辑器中以 JSON 格式传入模型支持的所有参数:

{
"temperature": 0.7,
"max_tokens": 4096,
"top_p": 0.9
}
提示

自定义模型的参数名称和取值范围需参考对应 LLM 服务商的 API 文档。配置有误可能导致模型调用失败。

视觉模型参数

视觉模型的参数配置方式与主模型相同,在 Agent 编辑器的视觉模型(可选)区域选择模型后,同样可以配置 Temperature、Max Tokens 等参数。