如果你的电脑CPU的NPU算力不足40TOPS,或者无内置NPU,但处理器是8核心以上且支持AVX2指令集,内存至少16GB,或者独立显卡比较强(如NVIDIA GeForce RTX 2060 SUPER等),那么你可以通过本地运行AI大模型工具比较流畅的运行体验轻量级AI模型(3B-4B),而中量级AI模型(8B-9B)仅是勉强可用。
以AMD 锐龙 7 H 255处理器、Windows 11操作系统的笔记本电脑为例,使用LM Studio部署AI模型运行环境。
提示:LM Studio同时支持AMD和Intel处理器,但目前并不支持CPU内置的NPU,它只能调用iGPU(通过 Vulkan)或纯CPU来运行模型,功耗和发热显著更高,GPU高负载运行时整机功耗可能达到 25W-65W,会导致风扇狂转、续航大幅缩短。LM Studio的优势是在利用GPU处理大模型或长上下文时,比FastFlowLM更成熟稳定。
乔大海个人网站 https://qiaodahai.com/