🖥️ 本地部署
vLLM 免费吗？价格、免费额度与海外可用性
面向生产的高吞吐推理引擎，PagedAttention 把 KV cache 分页管理，配合连续批处理与前缀缓存，同等显卡下吞吐显著高于朴素实现。兼容 OpenAI Chat Completions、Anthropic Messages 与 gRPC，支持 FP8/INT4/AWQ/GPTQ/GGUF 等量化与张量并行、流水并行。
A production-grade high-throughput inference engine: PagedAttention manages the KV cache in pages, and continuous batching plus prefix caching push far more tokens per GPU than a naive implementation. Speaks OpenAI Chat Completions, Anthropic Messages and gRPC, with FP8/INT4/AWQ/GPTQ/GGUF quantization and tensor/pipeline parallelism.
这个工具擅长什么 / Highlights
PagedAttention + 连续批处理，自建 API 服务吞吐首选
PagedAttention + continuous batching — the default for self-hosted API serving
价格与免费额度 / Pricing & free tier
免费开源（Apache-2.0），算力自备
详细介绍 / Overview
加州大学伯克利分校孵化、现为独立基金会的生产级推理引擎。核心是 PagedAttention——把 KV cache 像操作系统管理内存那样分页，显存碎片率大幅下降；配合连续批处理（continuous batching）、前缀缓存、chunked prefill 与投机解码，同样显卡能压出数倍吞吐。协议上直接兼容 OpenAI Chat Completions、Anthropic Messages 和 gRPC，现有客户端基本零改动接入。
站长心得 / Our take
自建 API 服务的默认答案，没有之一。真实体验：单卡 4090 跑 32B 的 AWQ 量化模型，并发十几路还能保持可用延迟，换成朴素 transformers 早就排队排到天荒地老。要注意的是它偏服务端——追求单次低延迟或极简部署，llama.cpp 更合适；vLLM 的启动、显存占用、依赖版本都比较“重”，小机器上别硬上。
常见问题 / FAQ
Q：这个工具免费吗？
有免费档位：免费开源（Apache-2.0），算力自备
Q: Is it free?
A: Yes, there is a free tier: 免费开源（Apache-2.0），算力自备
Q：免费额度有多少？
免费开源（Apache-2.0），算力自备
Q: How much free quota is there?
A: 免费开源（Apache-2.0），算力自备
Q：支持海外访问吗？
全球可访问；个别服务可能需要当地账号或网络条件。
Q: Is it available overseas?
A: Globally accessible; some services may need a local account or specific network conditions.
Q：有 API 吗？
提供 API / SDK，接入方式见官网文档。
Q: Does it have an API?
A: Yes — API / SDK access is documented on the official site.