Open-source AI gateway for managing multiple LLM providers with built-in features.

什么是Open Source AI Gateway？

一个开源的AI网关，用于管理多个大型语言模型（LLM）提供商，如OpenAI、Anthropic、Gemini、Ollama、Mistral和Cohere。它提供内置分析、保护措施、速率限制、缓存和管理控制。支持HTTP和gRPC接口。

如何使用 Open Source AI Gateway？

1. 配置Config.toml文件，填写您的API密钥和模型设置。
2. 运行Docker容器，挂载Config.toml文件。
3. 使用curl命令向网关发起API请求，指定LLM提供商。

Open Source AI Gateway 的核心功能

多提供商支持
HTTP和gRPC接口
智能故障转移
智能缓存
速率限制
管理员仪表板
内容保护措施
企业日志记录
系统提示注入