8GB显卡本地跑通千问3.8-27B:Vulkan踩坑、去审查版与量化横评
8GB 显存的 AMD 显卡,能不能本地跑一个 27B 参数的大语言模型?
答案是:能。这篇分两部记录全过程——第一部:跑通官方版。从选型、下载、踩坑到实测,结论是官方版能跑但只有约 1.5 字/秒,且自带”限制”。
第二部:去审查版与量化横评。查清”限制”藏在哪一层,换社区去审查权重,把 Q4 / 3bit / 1bit / MTP 全家桶拉出来横评,最后留下两个。现役配置(去审查 Q4_K_M + 视觉)的速查表在文末「最终配置速查」,急着抄作业可以直接跳那里。