Skip to main content

创建大模型元素

随着AI技术快速发展，现代应用系统正在经历智能化革命。然而，面对众多的AI服务提供商和不断更新的模型版本，开发者往往面临选择困难和集成复杂性的挑战。

大模型厂商元素正是JitAi平台为解决这一问题而设计的统一AI接入方案。无论您要构建智能AI知识库、开发AI助理、还是创建自主决策的Agent，它都能提供稳定可靠的大模型服务支撑。

效果图

以上图为例，使用大模型提取快递信息中的姓名、手机号，地址。

主流大模型厂商支持列表​

  • Anthropic
  • 阿里云百炼
  • Deepseek
  • Gemini
  • OpenAI
  • 硅基流动
  • OpenAI兼容

创建大模型厂商元素​

大模型厂商元素的创建​

大模型厂商创建

在元素目录树上点击搜索框右边的+按钮，在弹出的菜单中选择AI大模型，根据实际情况再选择对应的大模型厂商，选择完成后会弹出如下弹窗。

大模型创建弹窗

在弹窗中，填入名称，然后到对应模型厂商的配置页添加一个API Key(不知道地址的可以点击左下角的获取API Key)，然后再将API Key填入这里，点击保存按钮完成创建。 API Key可以通过点击右上角的按钮使用环境变量，避免泄露。

tip

API URL一般不需要修改，每个厂商的默认配置已经填写。

元素树显示

创建完成后会在左侧元素树中显示。

重试及备用API Key机制​

为了避免单个密钥速率限制、请求过多等限制导致模型调用失败，我们提供了重试及多密钥机制。最大重试3次，每次重试的等待时间分别为1秒、2秒、4秒。如果配置了多个API Key，每次重试都会轮询到备用的API Key。这意味着系统不会在同一个失效的Key上反复尝试，而是智能地切换到备用Key来提高成功率。如果只有一个API Key，系统将会在这个Key上尝试4次(1次调用 + 3次重试)。

多密钥

在界面上点击开启备用密钥-+备用密钥就可以添加一个密钥输入框，将你的备用没要密钥填入，然后点击保存即可。

私有化大模型集成​

为了信息安全，开发者可能会部署私有化模型，平台同样支持私有化模型集成。

私有化模型

私有化模型使用OpenAI兼容元素进行连接，以Ollama为例，默认地址为http://127.0.0.1:11434/v1，若有API Key则填入，需要注意的是，私有化模型要开启开启自定义模型配置项，并输入完整的模型名称，如：qwen3:0.6b、nomic-embed-text。

tip

支持OpenAI接口的厂商，都可以使用OpenAI兼容元素进行连接，下图以火山引擎的豆包为例作为参考。

豆包兼容