model-hotel란?
Model-hotel은 여러 제공업체의 AI 게이트웨이로, 사용자가 여러 LLM 제공업체를 관리할 수 있는 하나의 OpenAI 호환 엔드포인트를 제공합니다. 이는 클라우드 서비스든 자가 호스팅이든 관계없이 여러 제공업체를 지원합니다. 자동으로 모델을 발견하고, 제공업체가 할당량 부족이나 장애가 발생할 경우 자동으로 다음 제공업체로 전환할 수 있으며, 클라이언트가 변경할 필요가 없습니다.
이 도구는 Anthropic, AWS Bedrock, Azure AI Foundry 등 여러 제공업체를 지원하며, 사용자 정의 엔드포인트를 추가할 수 있습니다. 모든 제공업체의 API 키는 AES-256-GCM으로 암호화되어 저장되어 보안을 보장합니다.
주요 기능
다양한 AI 제공업체를 지원하며, 클라우드 서비스 및 자체 호스팅 솔루션을 포함합니다.
모델을 자동으로 발견하고, 제공업체가 고장났거나 할당량이 부족할 때 투명한 장애 조치를 수행합니다.
