TensorFold

TensorFold은 Zig 언어를 기반으로 한 LLM 추론 엔진으로, Apple Silicon 및 NVIDIA GPU에서 실행을 지원합니다. 이는 직접 체크포인트를 읽고 요청을 토큰화하여 Metal 또는 CUDA 커널을 실행함으로써 효율적인 모델 서비스를 제공합니다.

TensorFold의 설치 및 사용은 매우 간단하며, Mac에서는 Homebrew를 통해 설치할 수 있고, Linux의 NVIDIA GPU를 통해 배포할 수 있습니다. 또한 다양한 명령줄 옵션을 제공하여 모델을 끌어오거나 서비스를 시작하거나 요청을 보내는 등 다양한 사용자의 요구를 충족시킵니다.