📅 发布时间：2026/6/21 23:55:34

参考链接

动手学Ollama教程: https://datawhalechina.github.io/handy-ollama/
Ollama官网：https://ollama.com/

学了什么

除了从Ollama Library中可下载模型使用，我们还可以从Hugging Face下载模型（涉及不同的格式转换），并进行量化、自定义Prompt等

教程中所说的目录结构实际是github项目handy-ollama/notebook/C3的内容，实际操作不一定完全按照该目录，只要保证4种方法各自的文件分别在同一个文件夹中即可。
教程提到的创建Modelfile文件，例如FROM ./Qwen2-0.5B.Q3_K_M.gguf，并不是代码命令，而是说需要我们创建一个Modelfile文件（例如创建txt后去掉后缀，也可在上述github中直接下载），其中的内容是FROM ./Qwen2-0.5B.Q3_K_M.gguf
文件夹中有的.ipynb文件也不是部署所必须的，可以通过命令行完成导入操作，但正如教程中说的，注意进入Modelfile文件所在的目录下运行命令行指令（windows有个简单方法是在所在文件夹中，右键空白处，选择“在终端中打开”）
例如这个指令 ollama create mymodel -f Modelfile，它创建了mymodel的模型，就可以在Ollama软件首页的下拉菜单中找到名为mymodel的模型，选择后即可直接使用对话交互了

主要还是按照动手学Ollama教程内容完成，以下信息仅记录或供参考：

从HuggingFace下载Model，用llama.cpp转为.gguf格式，并将模型量化
- 我参考知乎-如何从HuggingFace下载文件，看了下从HuggingFace下载文件的不同方法
- 和教程做法不同，我选择了HuggingFace官方的工具CLI，官网的安装命令介绍
- 教程中的模型链接在此：Qwen1.5-0.5B，所以我输入 hf download Qwen/Qwen1.5-0.5B 开始下载，下载完成会告诉你存到了哪里，当然也可以hf download时候提前指定下载路径。然后将文件剪切到希望的其他文件夹中，并重命名。
- 需要从github下载llama.cpp工具，所以按照教程中，在模型所在目录下的打开命令行（windows可以右键打开），通过git clone https://github.com/ggerganov/llama.cpp.git 下载
- llama.cpp github的pyproject.toml文件中看到了要求python>=3.9，所以自己新建了conda环境后，按照教程内容安装了依赖的包
  
  开始转换，这里提示下文件夹对应关系
- 将模型量化时候，一直报错 supplied file was not in GGUF format，结果发现可能是我创建的Modelfile没有删除.txt后缀，所以命令加上.txt后缀后成功执行
自定义Prompt
- 我发现教程用的llama3.1模型下载需要4.7G，对于上手来说太大了，因此我改为了qwen3:06b，约500M，同样达到自定义prompt的测试效果

这次的任务有些需要创建conda环境，用到HuggingFace平台，还需要用到llama.cpp工具，感觉难度有点大，但相应的也学到了很多
教程测试期间被一个小问题就是Modelfile的后缀名折磨了一会，有点亏
教程中有一些步骤我感觉可以有更好的实现，例如从HuggingFace下载Model，教程需要HuggingFace的个人ACCESS_TOKEN，还需要pip install huggingface_hub，而我选择直接使用官方更推荐的Hugging Face Command Line Interface (CLI)工具，不需要登陆即可下载。
我还更换了自定义Prompt 章节用的模型，将模型从4.7G改到500M，并且将这部分自定义模型命名和前面的3个部分做了统一，针对这两点第一次提交了相关pr，个人来说第一次总是重要的时刻。
任务完成！开心！