在浏览器里跑大模型：WebLLM 与本地推理

「大模型必须跑在云端」的认知正在被打破。借助 WebGPU 与量化技术，浏览器本地推理正从实验走向可用。

为什么要在浏览器跑模型

云端推理有几个固有成本：延迟、带宽、以及隐私。把模型放到浏览器本地，意味着：

• 数据不出设备，隐私有保障；
• 离线可用，不依赖网络；
• 无需服务器，降低部署成本。

WebLLM：浏览器里的推理引擎

WebLLM 是一个把大模型编译到浏览器运行的框架，底层利用 WebGPU 加速。它的使用方式出奇地简单：

import { CreateMLCEngine } from '@mlc-ai/web-llm';

const engine = await CreateMLCEngine('Llama-3.2-3B-Instruct');
const reply = await engine.chat.completions.create({
  messages: [{ role: 'user', content: '你好' }],
});
console.log(reply.choices[0].message);

首次使用会下载模型权重（几百 MB 到几 GB），之后缓存在本地。

技术关键：量化与 WebGPU

大模型动辄数十亿参数，如何塞进浏览器？

1. 量化（Quantization）：把权重从 16bit 降到 4bit 甚至更低，大幅压缩体积与内存，精度损失可控；
2. WebGPU 加速：利用 GPU 并行算力跑矩阵运算，速度远超 CPU。

正是这两项技术的成熟，让浏览器推理变得现实。

适用场景与局限

适合：聊天助手、文档本地分析、代码补全、隐私敏感场景。

局限：模型规模受限（通常 8B 以内）、首次加载慢、对设备内存有要求。

结语

浏览器本地推理为「端侧 AI」打开了一扇门。随着 WebGPU 普及与量化技术进步，「数据不出设备」的 AI 应用会越来越多。前端工程师，又一次站在了新能力的前沿。