正在加载文章,请稍候…
在浏览器运行 ONNX 并调度三路流式推理
内容提要
用 ONNX Runtime Web 在浏览器跑通一个 WASM 模型,再按服务端收流、本地 WebGPU 和本地 WASM 三种场景决定 Worker 数量。
浏览器可以用 ONNX Runtime Web 加载 .onnx 模型,在用户设备上执行推理。同一个本地模型同时服务三路生成请求时,可以从 1 个专用推理 Worker 起步。如果浏览器只是接收服务端流,0 个收流 Worker 就够了。ONNX Runtime Web 部署指南 · Fetch 标准
ONNX 是什么
ONNX(Open Neural Network Exchange)是开放的模型交换格式。它用计算图记录输入、输出、算子及模型权重。比如,可以在 PyTorch 中训练模型并导出为 .onnx,再让 ONNX Runtime Web 执行这张图。网页加载模型和运行时之后,计算发生在浏览器内。先用 WASM 在 CPU 上验证模型,再按浏览器、设备和模型的算子支持情况评估 WebGPU。ONNX 基础概念 · WebGPU 指南
用 WASM 跑通一个加法模型
示例使用 ONNX 官方加法测试模型。它接收两个形状为 [3, 4, 5] 的 float32 张量,返回逐元素相加的结果。先在空目录中下载模型。官方测试模型
curl -fL -o model.onnx \
https://raw.githubusercontent.com/onnx/onnx/v1.21.0/onnx/backend/test/data/node/test_add/model.onnx在同一目录保存 index.html。
<!doctype html>
<meta charset="utf-8">
<title>ONNX 加法示例</title>
<pre id="result">正在加载模型…</pre>
<script src="https://cdn.jsdelivr.net/npm/onnxruntime-web@1.24.3/dist/ort.wasm.min.js"></script>
<script type="module">
const result = document.querySelector('#result');
const ort = globalThis.ort;
try {
// 第一步,加载模型并创建 WASM 推理会话。
const session = await ort.InferenceSession.create('./model.onnx', {
executionProviders: ['wasm'],
});
// 第二步,按模型要求构造两个输入张量,再逐元素相加。
const shape = [3, 4, 5];
const x = new ort.Tensor('float32', new Float32Array(60).fill(2), shape);
const y = new ort.Tensor('float32', new Float32Array(60).fill(3), shape);
const { sum } = await session.run({ x, y });
result.textContent = '输出前 5 项为 ' + sum.data.slice(0, 5).join(', ');
} catch (error) {
result.textContent = '推理失败。' + error.message;
}
</script>启动本地静态服务器。
python3 -m http.server 8000 --bind 127.0.0.1访问本机的 http://127.0.0.1:8000,预期显示 输出前 5 项为 5, 5, 5, 5, 5。模型输入和输出已通过 Node.js 的 WASM 后端验证,浏览器页面尚未实测。
接入自己的模型时,用 session.inputMetadata 核对输入名、数据类型和形状,用 session.outputNames 找到输出。图片缩放、归一化或文本分词要与模型要求一致。已有前端项目可以通过 npm install onnxruntime-web 安装运行时。InferenceSession API
三路流式请求开几个 Worker
服务端生成,浏览器接收。 主线程可以同时发起三个请求,并独立异步读取每条响应流。SSE 可以使用 EventSource,使用 fetch 时可以逐块读取 response.body。页面还要执行本地 ONNX 推理时,可以把模型计算放在一个独立的 Worker 里。Fetch 标准 · SSE 标准
浏览器用同一个 LLM 生成。 在一个专用 Worker 内复用同一推理会话,让每个请求各自维护生成状态和 KV cache。可以轮流执行每个活跃请求的一次解码,再把新 token 连同请求 ID 发回主线程。这能让三条流交替更新。模型和缓存布局支持批处理时,可以把多个请求放进同一次解码调用。会话初始化指南 · KV cache 说明
WebGPU。 在专用 Worker 内加载含 WebGPU 支持的 ONNX Runtime Web,并在其中创建会话。三个 Worker 各自加载模型,通常会增加显存占用,计算仍会争用同一块 GPU。ONNX Runtime Worker 配置
WASM。 应用 Worker 数和运行时的 ort.env.wasm.numThreads 是两个可以独立调节的参数。开启 WASM 多线程需要浏览器支持,并启用跨源隔离。可以先测一个应用 Worker。如果三路请求的首 token 延迟或相邻 token 的间隔达不到目标,再比较两个 Worker 的延迟、总吞吐和峰值内存,据此决定是否增加到三个。WASM 线程配置
