model-hotel

Model-hotelは、複数のLLMプロバイダーを管理するための統一されたOpenAI互換エンドポイントをユーザーに提供する多プロバイダーAIゲートウェイです。これは、クラウドサービスまたはセルフホスティングに関係なく、複数のLLMプロバイダーを管理することを目的としています。モデルを自動的に検出し、プロバイダーがクォータ不足または障害が発生した場合に、クライアントの変更なしに次のプロバイダーに自動的に切り替えることができます。

このツールは、Anthropic、AWS Bedrock、Azure AI Foundryなどの複数のプロバイダーをサポートし、カスタムエンドポイントを追加することもできます。すべてのプロバイダーのAPIキーはAES-256-GCMで暗号化されて保存され、セキュリティが確保されています。