🖥️ 本地部署
exo 免费吗?价格、免费额度与海外可用性
把身边设备拼成一台推理集群:手机、笔记本、Mac、树莓派自动发现并分片加载模型,用日常硬件跑平时跑不动的大模型。支持 MLX、tinygrad 等后端,适合手上有几台闲置设备的人。
Turns the devices around you into one inference cluster: phones, laptops, Macs and Raspberry Pis auto-discover and shard a model so everyday hardware can run something it otherwise could not. Supports MLX and tinygrad backends — for people with a few idle devices.
这个工具擅长什么 / Highlights
多台普通设备拼算力,跑超出单机显存的模型
Pool several ordinary devices to run models beyond a single machine's VRAM
价格与免费额度 / Pricing & free tier
免费开源(Apache-2.0)
详细介绍 / Overview
把身边的设备拼成推理集群的开源项目:iPhone、Mac、Linux 笔记本、树莓派、甚至 NVIDIA 显卡机器,通过自动发现组网,把一个大模型按层切片分布到各设备上,用日常硬件跑平时跑不动的模型。后端支持 MLX、tinygrad 等,走 P2P 拓扑,不需要中心调度服务器。
站长心得 / Our take
想法非常迷人——把吃灰的旧手机旧电脑变成算力池。实际体验受网络带宽限制很大,千兆局域网下才比较可用,Wi-Fi 下的 token 速度会让人着急。属于“实验性很强、但值得关注”的项目,适合有闲置设备且爱折腾的人;生产环境别指望它。
常见问题 / FAQ
Q:这个工具免费吗?
有免费档位:免费开源(Apache-2.0)
Q: Is it free?
A: Yes, there is a free tier: 免费开源(Apache-2.0)
Q:免费额度有多少?
免费开源(Apache-2.0)
Q: How much free quota is there?
A: 免费开源(Apache-2.0)
Q:支持海外访问吗?
全球可访问;个别服务可能需要当地账号或网络条件。
Q: Is it available overseas?
A: Globally accessible; some services may need a local account or specific network conditions.