TensorFold

TensorFoldはZig言語に基づくLLM推論エンジンであり、Apple SiliconおよびNVIDIA GPU上で動作します。チェックポイントを直接読み取り、リクエストをトークン化し、MetalまたはCUDAカーネルを実行することにより、効率的なモデルサービスを実現します。

TensorFoldのインストールと使用は非常に簡単で、MacではHomebrewを通じてインストールでき、LinuxのNVIDIA GPUで展開可能です。また、モデルのプル、サービスの起動、リクエストの送信などの複数のコマンドラインオプションを提供し、さまざまなユーザーのニーズに応えることができます。