自建模型服务的运行时、推理引擎与托管平台。
软件与产品以卡片呈现，点击进入详情查看用途与适用场景。
把本地大模型的下载、运行和管理简化成一条命令，适合在个人电脑或开发机上快速跑起开源模型。它不追求极致吞吐，胜在安装简单、模型切换方便。
高吞吐的推理引擎，通过 PagedAttention 等技术提升显存利用率和并发能力。适合需要自建模型服务、对吞吐和延迟有要求的团队，部署门槛高于 Ollama。
按次调用开源模型的托管平台，把模型部署和扩缩容交给平台处理。适合想快速试用图像、视频、语音等开源模型、又不想自己维护 GPU 的开发者。
