让那个最没用的NPU也忙起来：通过openvino跑大模型
缘起
看过很多电脑评测视频，都会有一句：这个cpu自带一个没什么用的npu……
就是这个：
我实在不信intel搞了这么多年真的一无是处，于是就想着，能不能通过openvino跑大模型？
挑选大模型
npu的算力其实并不大，想试试只能找他自己优化过的：https://huggingface.co/OpenVINO
就这个吧：
安装openvino
# 创建一个虚拟环境conda create-nvinopython=3.13# 激活虚拟环境conda activate vino# 安装openvinopipinstall--upgradepip pipinstallopenvino openvino-genai参考官方文档：openvino 安装
特别注意：只能通过pip安装，不能通过conda，因为conda环境中不包括npu的插件，如官方文档的下图：
下载大模型
抱脸下载太慢了，好在在魔搭找到了镜像：
不知道二者差异的，推荐刚写的：
Hugging Face vs ModelScope：两大开源模型平台深度对比与高效下载指南
小试牛刀
直接用模型介绍页面的代码试试：
importopenvino_genai model_path="D:\\model\\openvino"device="NPU"pipe=openvino_genai.LLMPipeline(model_path,device)config=openvino_genai.GenerationConfig()config.max_new_tokens=25600history=openvino_genai.ChatHistory()history.append({"role":"system","content":"You are a helpful assistant."})defstreamer(subword):print(subword,end='',flush=True)returnFalsewhileTrue:try:prompt=input('\nquestion:\n')exceptEOFError:breakhistory.append({"role":"user","content":prompt})result=pipe.generate(history,config,streamer)history.append({"role":"assistant","content":result.texts[0]})print(f"\nanswer:\n{result.texts[0]}")看看效果：
速度还可以，第一个token有点慢，后面速度跟上阅读不难。
启动服务，接入Cherry-Studio
直接问ima，他给我推了一个star为0的项目：
https://github.com/prskid1000/intel-npu-llm
不过还是能用的：
试试效果：
看看是不是npu在跑：
小结
NPU的算力还是很低的，但是对比GPU来，他的功耗也是很低的，笔记本上能省很多电，再等等小模型的发展，还是足够用的，至少是给本地龙虾聊聊天足够的。
欢迎关注：
让那个最没用的NPU也忙起来：通过openvino跑大模型