当前位置：首页 > news >正文

如何通过API运行Mistral 7B大语言模型

news 2026/6/14 13:23:06

Mistral 7B 是某机构发布的一款新型开源语言模型，其性能不仅超越了所有其他70亿参数的语言模型，有时甚至超过了拥有130亿参数的Llama 2和最初的340亿参数Llama模型。在代码任务上，它接近CodeLlama 7B的性能。

此外，还有针对聊天完成进行微调的模型 Mistral 7B Instruct。该模型与为聊天微调的Llama 2 13B相当。@a16z-infra已将Mistral 7B和Mistral 7B Instruct模型推送至某中心。下面我们先来看看Mistral 7B的突出特点，然后演示如何通过API运行它。

特点一：更新的训练数据

Mistral 7B的训练数据截止时间大约在2023年，因此它了解今年发生的事情。不过需要注意，Mistral只是一个语言模型，容易产生幻觉。即使它基于截至2023年的数据进行了训练，也不意味着它能可靠地复述这些信息。

特点二：速度更快

Mistral 7B采用了分组查询注意力（GQA）和滑动窗口注意力（SWA）机制来提高速度并减少内存使用。Mistral团队发现，在16k令牌序列长度上，使用滑动窗口注意力使推理速度翻倍。关于这些技术的更多细节，以及Mistral 7B与Llama的深入比较，可以查阅某机构的发布博客文章。

特点三：擅长编写代码

测试发现Mistral 7B编写代码的能力很强，并且带有一些风格。例如，它可以像一个海盗一样说话，同时编写计算斐波那契数列的Python函数。最后，值得一提的是，它甚至在用非传统食材生成食谱方面也表现出色。

如何通过API运行Mistral 7B

Mistral 7B已在某中心上架，只需一行代码即可在云端运行。

使用JavaScript客户端运行：

import Replicate from "replicate";const replicate = new Replicate({auth: process.env.REPLICATE_API_TOKEN,
});const input = {prompt:"Write a poem about open source machine learning in the style of Mary Oliver.",
};for await (const event of replicate.stream("mistralai/mistral-7b-instruct-v0.2",{input,}
)) {process.stdout.write(event.toString());
}

使用Python客户端运行：

import replicate# mistralai/mistral-7b-instruct-v0.2 模型可以在运行时流式输出。
for event in replicate.stream("mistralai/mistral-7b-instruct-v0.2",input={"prompt": "how are you doing today?"},
):print(str(event), end="")

或者，也可以直接使用cURL等工具调用HTTP API：

curl -s -X POST \-H "Authorization: Bearer $REPLICATE_API_TOKEN" \-H "Content-Type: application/json" \-H "Prefer: wait" \-d $'{"input": {"prompt": "how are you doing today? "}}' \https://api.replicate.com/v1/models/mistralai/mistral-7b-instruct-v0.2/predictions

还可以使用某中心为Go、Swift、Elixir等其他语言提供的客户端库来运行Mistral。

后续步骤

查看某中心上的 a16z-infra/mistral-7b-v0.1 和 a16z-infra/mistral-7b-instruct-v0.1 模型。
Mistral 7B的微调版本也在不断增加热度。例如，nateraw/mistral-7b-openorca 就是在Open Orca数据集上为聊天微调的版本。

🥊 想将Mistral与Llama进行比较吗？可以访问一个名为LLM Boxing的网站，该网站让语言模型在盲测中相互竞争，并由用户决定哪个模型更好。在发布本文时，Mistral 7B Instruct以3985比3335领先于Llama 2 13B Chat。这种领先优势能否保持？可以亲自去查看一下。
更多精彩内容请关注我的个人公众号公众号（办公AI智能小助手）或者我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码