选本地大模型，先看显存，再看场景，最后才看参数榜。
7B 级别的模型，4-bit 量化后大约需要 4–6 GB 显存，适合 8 GB 显卡或统一内存的迷你主机；14B 大约 8–10 GB；32B 以上通常需要 24 GB 显存或更多。上下文越长，KV Cache 占用越高，实际需求会比参数估算更大。
场景比参数更重要。日常对话与写作，7B–14B 的指令模型已经够用；代码补全更看重训练数据与上下文窗口；长文档总结则需要更大的上下文，而不是更大的参数量。
量化版本优先选 Q4_K_M 或 Q5_K_M，画质与体积比较平衡；显存特别紧张时再考虑 Q3。不要只看文件大小，运行框架、批大小和上下文长度都会影响实际占用。
最后，先跑再买。用 GGUF 或 FP8 版本在本机试一天，比看十篇评测更有用。