AMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K模型API参考与集成示例

AMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K模型API参考与集成示例

【免费下载链接】SmolLM-135M-Instruct_rai_1.7.1_npu_4K项目地址: https://ai.gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4K

AMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K是一款专为NPU部署优化的轻量级语言模型，采用Quark Quantization技术和Full Fusion 4K上下文处理，非常适合在AMD Ryzen AI平台上实现高效的文本生成任务。

模型核心特性解析

技术架构概览

该模型基于Llama架构构建，关键参数配置如下：

• 上下文长度：4096 tokens（通过Hybrid优化实现）
• 隐藏层维度：576
• 注意力头数量：9（含3个键值头）
• 量化策略：AWQ / Group 128 / 非对称量化，采用BFP16激活值和UINT4权重

部署优化亮点

模型通过以下技术实现NPU高效运行：

• 全融合4K上下文处理技术
• 混合优化token后端（NPU加速）
• ONNX Runtime-GenAI支持，配置文件见genai_config.json

快速集成指南

环境准备

1. 克隆模型仓库：

git clone https://gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4K

2. 安装依赖（需Ryzen AI环境支持）：

pip install onnxruntime-genai ryzen-ai

API调用示例

基础文本生成

import onnxruntime_genai as og # 加载模型配置 model = og.Model("full.onnx", "genai_config.json") tokenizer = og.Tokenizer(model) # 输入提示词 input_text = "请解释什么是人工智能" input_ids = tokenizer.encode(input_text) # 生成配置 params = og.GeneratorParams(model) params.set_search_options(max_length=512, temperature=0.7, top_p=0.9) params.input_ids = input_ids # 执行生成 generator = og.Generator(model, params) output = generator.generate() # 输出结果 print(tokenizer.decode(output[0]))

流式输出实现

# 流式生成配置 params.set_search_options(stream=True, max_length=1024) generator = og.Generator(model, params) # 逐token输出 for output in generator: if output.token_id == model.eos_token_id: break print(tokenizer.decode([output.token_id]), end='', flush=True)

配置参数详解

模型配置参数

主要配置位于genai_config.json，关键参数说明：

生成参数调优

常用生成参数及建议值：

• temperature: 0.7-1.0（值越高输出越随机）
• top_p: 0.9（控制采样多样性）
• max_length: 512-4096（根据任务需求调整）

常见问题解决

NPU设备检测失败

确保已安装最新Ryzen AI驱动，并验证设备可用性：

ryzenai-check

模型加载内存不足

尝试使用模型优化版本：

model = og.Model("optimized_model.onnx", "genai_config.json")

许可证信息

本模型基于MIT许可证发布，详细条款见项目根目录LICENSE文件。

Modifications copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved.

【免费下载链接】SmolLM-135M-Instruct_rai_1.7.1_npu_4K项目地址: https://ai.gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4K