model-hotel

Model-hotel是一个多提供商AI网关，旨在为用户提供一个统一的OpenAI兼容端点，以管理多个LLM提供商，无论是云服务还是自托管。它能够自动发现模型，并在提供商出现配额不足或故障时自动切换到下一个提供商，无需客户端更改。

该工具支持多种提供商，包括Anthropic、AWS Bedrock、Azure AI Foundry等，并且可以添加自定义端点。所有提供商的API密钥都使用AES-256-GCM加密存储，确保安全性。