去年的时候就想在本地部署一个大模型，一直没空研究，最近看到Google发布了Gemma 4 12B模型，

看了一些评测，各项指标还不错，我也来试试。

我的笔电配置：12G-4080，32G-DDR5内存。

一、Gemma4 12B

看了下这个输出速度，有点感人啊，每秒5个token，着实有点慢。

内存完全占满了，估计瓶颈还是在内存上。

不过好在知识库还算比较新，虽然已经过去1年半了。

二、Qwen3.6-35B-A3B

随后下载了Qwen3.6-35B-A3B，整体速度要快上不少，使用都是默认配置。

不管怎么样，速度依旧很感人。

试了下千问的识图，基本还可以。

读取远程网页

这个功能我比较看重，只要有这功能，本地化的数据来源就没有问题了。

三、测试接口

我让deepseek写了一个本地大模型请求对话的html页面，请求接口使用 http://localhost:8080/v1/chat/completions

效果非常nice：

简单优化了下，增加了暗色模式。

有打开的api接口，意味着我开发的笔记系统，也可以接入本地大模型，等以后上了大内存和显存的机子，岂不是一个完美的笔记+日程系统了😊。

四、速度测试

在下载llama.ccp的时候如果没下载CUDA 13.3 DLLs，则只支持cpu推理。

我测试的结果有点意外，在cpu推理下，Qwen3.6-35B-A3B能跑到20Token/s，Gemma4 12B在5-10token/s左右。

cpu会全部吃满，gpu基本在打酱油。

下载了CUDA 13.3 DLLs 之后运行llama-server.exe --list-devices，就能看到显卡的数据：

启用GPU推理后：

GPU完全吃满，cpu基本就10%了。

在GPU下，两个大模型速度都在10Token/s左右，比较慢。

https://github.com/ggml-org/llama.cpp/releases