离线版AI工具基于llama.cpp的升级版本只要一个电脑开了整个局域网都能用适合在受限的局域网如机房使用支持更换换gguf AI离线模型自带DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf支持MTP模型MTPMulti-Token Prediction多 Token 预测是一种先进的投机解码技术它让模型在生成文本时一次性预测多个后续 Token而不是逐字生成从而显著提升推理速度。本工具内置的 llama.cpp 推理引擎b10644 版本原生支持 MTP 投机解码配合带 MTP 头的 GGUF 模型可以在纯 CPU 环境下获得更快的响应体验。更绝的是它还支持查看上下文占用空间、导出对话等运行效果服务器网页局域网 AI 聊天服务器 使用说明资源已和此文档绑定直接下载启用即可过几天将发送源代码现在不行请谅解你可以下载我的资源【配置文件 config.ini】必看Port 9090 HTTP 端口。默认 9090被占用时自动每次 59095、9100...直到找到空闲端口CtxSize 4096 上下文窗口tokens。改大会占更多内存MaxTokens 2048 单次回答最大长度tokensModel ... 模型文件名放在 models 文件夹内Mtp 0 MTP多 token 预测投机解码开关MtpDraft 3 每次草稿预测 token 数Mtp1 时生效修改后重启服务器生效。【这是什么】一个完全离线运行的局域网 AI 聊天工具- 在本机Windows运行其他电脑用浏览器即可访问无需安装任何软件- AI 模型为 DeepSeek-R1-Distill-Qwen-1.5BQ3_K_M 量化由本机 CPU 提供算力- 同一时间只处理一个用户的对话其他用户自动排队- 聊天记录保存在各自的浏览器缓存中不清浏览器缓存就一直都在【如何启动】方法一双击 start.bat方法二双击 server.exe启动后控制台会显示访问网址例如本机访问: http://127.0.0.1:9090局域网访问: http://192.168.x.x:9090把局域网访问的网址发给同事/朋友用浏览器打开即可聊天。【文件夹说明】server.exe 主程序静态编译无需任何运行库start.bat 一键启动脚本config.ini 配置文件端口、上下文大小等可改web\index.html 网页界面独立文件可自行美化llama\ 内置 llama.cpp 推理引擎及运行库models\ 模型文件GGUFserver.log 运行日志自动追加【常用功能】- 连续对话直接接着问AI 记得前面的内容- 上下文剩余左侧面板实时显示本轮对话的上下文占用- 排队状态左侧面板显示你的排队位置和当前生成速度- 停止生成生成过程中点■ 停止即可中断- 新对话清空当前浏览器中的聊天记录- 导出把聊天记录保存为文本文件- 写代码直接说需求模型擅长 Python代码块可一键复制- 思考过程AI 的深度思考内容可点击展开/收起【关于 MTP 模型】- 内置引擎 llama.cpp b10644 支持 MTP多 token 预测投机解码可显著提高生成速度- 使用条件模型 GGUF 文件必须自带 MTP 头mtp.* 张量。当前默认的 DeepSeek-R1-Distill-Qwen-1.5B 不支持 MTP- 使用步骤1. 下载带 MTP 头的 GGUF 模型如 DeepSeek-V3/R1-MTP 或社区MTP 微调模型放入 models 文件夹2. config.ini 中把 Model 改成新模型文件名并把 Mtp 改为 13. 重启服务器若模型没有 MTP 头启动日志会给出明确报错【控制台命令】quit 或 q 退出服务器status 查看当前队列状态help 查看帮助【常见问题】1. 其他电脑打不开网页- 检查两台电脑是否在同一局域网能互相 ping 通- 检查本机 Windows 防火墙是否放行了 server.exe首次运行弹出防火墙提示时请点允许访问若没弹请到 控制面板→Windows Defender 防火墙→允许应用通过防火墙 手动放行- 确认访问的网址是控制台显示的局域网访问地址2. 启动失败- 看控制台日志模型文件缺失、llama 文件夹不完整都会给出明确提示- 内存不足请保证至少 3GB 空闲内存3. 回复很慢- 纯 CPU 推理速度取决于电脑 CPU 性能- 首次提问会稍慢模型加载之后正常- 可减小输出长度或换更小的模型4. 换电脑使用直接把整个 AI-Chat-Server 文件夹拷到任意 Windows 电脑Win7 及以上64 位双击 start.bat 即可不需要安装任何运行库。【技术说明】- 主程序 server.exe 由 MinGW-w64 静态编译仅依赖 Windows 系统自带DLLkernel32/msvcrt/ws2_32/iphlpapi无需安装 VC 运行库- llama 引擎所需运行库vcruntime140 等已随附在 llama 文件夹内- 模型DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf约 882MB- 网页与程序完全分离可自行修改 web\index.html 定制界面 【超级重磅·全网独一】离线版局域网AI聊天工具
离线版AI工具基于llama.cpp的升级版本只要一个电脑开了整个局域网都能用适合在受限的局域网如机房使用支持更换换gguf AI离线模型自带DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf支持MTP模型MTPMulti-Token Prediction多 Token 预测是一种先进的投机解码技术它让模型在生成文本时一次性预测多个后续 Token而不是逐字生成从而显著提升推理速度。本工具内置的 llama.cpp 推理引擎b10644 版本原生支持 MTP 投机解码配合带 MTP 头的 GGUF 模型可以在纯 CPU 环境下获得更快的响应体验。更绝的是它还支持查看上下文占用空间、导出对话等运行效果服务器网页局域网 AI 聊天服务器 使用说明资源已和此文档绑定直接下载启用即可过几天将发送源代码现在不行请谅解你可以下载我的资源【配置文件 config.ini】必看Port 9090 HTTP 端口。默认 9090被占用时自动每次 59095、9100...直到找到空闲端口CtxSize 4096 上下文窗口tokens。改大会占更多内存MaxTokens 2048 单次回答最大长度tokensModel ... 模型文件名放在 models 文件夹内Mtp 0 MTP多 token 预测投机解码开关MtpDraft 3 每次草稿预测 token 数Mtp1 时生效修改后重启服务器生效。【这是什么】一个完全离线运行的局域网 AI 聊天工具- 在本机Windows运行其他电脑用浏览器即可访问无需安装任何软件- AI 模型为 DeepSeek-R1-Distill-Qwen-1.5BQ3_K_M 量化由本机 CPU 提供算力- 同一时间只处理一个用户的对话其他用户自动排队- 聊天记录保存在各自的浏览器缓存中不清浏览器缓存就一直都在【如何启动】方法一双击 start.bat方法二双击 server.exe启动后控制台会显示访问网址例如本机访问: http://127.0.0.1:9090局域网访问: http://192.168.x.x:9090把局域网访问的网址发给同事/朋友用浏览器打开即可聊天。【文件夹说明】server.exe 主程序静态编译无需任何运行库start.bat 一键启动脚本config.ini 配置文件端口、上下文大小等可改web\index.html 网页界面独立文件可自行美化llama\ 内置 llama.cpp 推理引擎及运行库models\ 模型文件GGUFserver.log 运行日志自动追加【常用功能】- 连续对话直接接着问AI 记得前面的内容- 上下文剩余左侧面板实时显示本轮对话的上下文占用- 排队状态左侧面板显示你的排队位置和当前生成速度- 停止生成生成过程中点■ 停止即可中断- 新对话清空当前浏览器中的聊天记录- 导出把聊天记录保存为文本文件- 写代码直接说需求模型擅长 Python代码块可一键复制- 思考过程AI 的深度思考内容可点击展开/收起【关于 MTP 模型】- 内置引擎 llama.cpp b10644 支持 MTP多 token 预测投机解码可显著提高生成速度- 使用条件模型 GGUF 文件必须自带 MTP 头mtp.* 张量。当前默认的 DeepSeek-R1-Distill-Qwen-1.5B 不支持 MTP- 使用步骤1. 下载带 MTP 头的 GGUF 模型如 DeepSeek-V3/R1-MTP 或社区MTP 微调模型放入 models 文件夹2. config.ini 中把 Model 改成新模型文件名并把 Mtp 改为 13. 重启服务器若模型没有 MTP 头启动日志会给出明确报错【控制台命令】quit 或 q 退出服务器status 查看当前队列状态help 查看帮助【常见问题】1. 其他电脑打不开网页- 检查两台电脑是否在同一局域网能互相 ping 通- 检查本机 Windows 防火墙是否放行了 server.exe首次运行弹出防火墙提示时请点允许访问若没弹请到 控制面板→Windows Defender 防火墙→允许应用通过防火墙 手动放行- 确认访问的网址是控制台显示的局域网访问地址2. 启动失败- 看控制台日志模型文件缺失、llama 文件夹不完整都会给出明确提示- 内存不足请保证至少 3GB 空闲内存3. 回复很慢- 纯 CPU 推理速度取决于电脑 CPU 性能- 首次提问会稍慢模型加载之后正常- 可减小输出长度或换更小的模型4. 换电脑使用直接把整个 AI-Chat-Server 文件夹拷到任意 Windows 电脑Win7 及以上64 位双击 start.bat 即可不需要安装任何运行库。【技术说明】- 主程序 server.exe 由 MinGW-w64 静态编译仅依赖 Windows 系统自带DLLkernel32/msvcrt/ws2_32/iphlpapi无需安装 VC 运行库- llama 引擎所需运行库vcruntime140 等已随附在 llama 文件夹内- 模型DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf约 882MB- 网页与程序完全分离可自行修改 web\index.html 定制界面