TensorFold

TensorFold是一个基于Zig语言的LLM推理引擎，支持在Apple Silicon和NVIDIA GPU上运行。它能够直接读取检查点、对请求进行分词，并运行Metal或CUDA内核，从而实现高效的模型服务。

TensorFold的安装和使用非常简便，支持通过Homebrew在Mac上安装，或通过Linux的NVIDIA GPU进行部署。它还提供了多种命令行选项，如拉取模型、启动服务和发送请求等，以满足不同用户的需求。