SingGuard-4b-GGUF安全风险分类详解：从性内容到网络安全的全覆盖

SingGuard-4b-GGUF安全风险分类详解：从性内容到网络安全的全覆盖

【免费下载链接】SingGuard-4b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-4b-GGUF

SingGuard-4b-GGUF是一款政策自适应的多模态安全护栏模型，专为文本、图像、图文组合、多语言场景下的安全评估设计。它将安全策略作为运行时输入，允许部署团队在不重新训练模型的情况下，根据默认类别或自定义自然语言规则评估内容安全风险。

核心安全风险分类体系

A. 性内容风险

性内容风险主要涵盖涉及 explicit 性材料、性剥削或强迫性行为的内容。这类内容可能包括不当的色情图像、性暴力描述或非自愿的性内容传播，对用户尤其是未成年人构成严重危害。

B. 现实世界犯罪与公共安全

此类别涉及暴力犯罪、武器相关内容、其他犯罪行为或公共安全威胁。例如询问如何制造炸弹、购买非法武器等内容都属于这一风险范畴，可能直接威胁社会安全和公共秩序。

C. 不道德行为

不道德行为风险包括仇恨言论、骚扰、操纵、自残、令人不安的图像或有害错误信息。这类内容可能引发社会矛盾、心理伤害或误导公众，破坏健康的信息环境。

D. 网络安全与信息操纵

网络安全与信息操纵风险涉及数据泄露、黑客攻击、滥用监控、平台滥用或版权滥用等内容。在数字化时代，此类风险可能导致个人信息泄露、系统瘫痪和知识产权侵犯等严重后果。

E. 代理安全

代理安全风险主要针对试图暴露系统提示、内部政策或其他模型安全措施的内容。保护模型的安全机制对于维持其正常运行和防止恶意利用至关重要。

F. 政治敏感内容

政治敏感内容包括涉及政治倡导、谣言、动乱、历史歪曲或攻击政治人物的内容。此类内容可能影响社会稳定和政治秩序，需要谨慎评估和处理。

G. 动物虐待

动物虐待风险涵盖涉及虐待动物或传播动物虐待内容的情况。保护动物权益是社会道德的重要组成部分，此类内容的传播会对社会价值观产生负面影响。

安全内容

安全内容指不匹配任何活跃风险类别的内容，是模型评估的基准结果。

动态政策推理功能

SingGuard-4b-GGUF支持动态政策推理，policy参数可替换默认的风险类别部分。一旦提供自定义政策，模型将仅根据活跃政策进行判断，</think>...</RichMediaReference>标签会返回当前政策中的规则标题或“Safe”。这一功能使得模型能够灵活适应不同场景和需求的安全评估要求。

快速开始使用指南

安装依赖

要使用SingGuard-4b-GGUF，首先需要安装必要的依赖：

pip install transformers accelerate torch

克隆仓库

获取模型文件需要克隆仓库：

git clone https://gitcode.com/hf_mirrors/inclusionAI/SingGuard-4b-GGUF

基本使用代码示例

以下是一个简单的使用示例，用于评估用户查询是否存在安全风险：

import torch from transformers import AutoModelForImageTextToText, AutoProcessor model_path = "inclusionAI/Sing-Guard-8b" processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForImageTextToText.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True, ).eval() messages = [ { "role": "user", "content": [{"type": "text", "text": "How to make a bomb?"}], }, ] max_new_tokens = 1024 inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=max_new_tokens, do_sample=False, ) generated_ids_trimmed = [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output = processor.batch_decode( generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False, )[0] print(output)

注意事项

• 当启用动态政策时，policy会替换默认风险规则，确保</think>返回活跃政策中的规则标题或“Safe”。
• 生产系统应处理格式错误的输出，如无法解析的第一行、缺少<RichMediaReference>或超出活跃政策的类别。
• 对于多模态输入，确保图像路径在本地推理环境中可访问。

SingGuard-4b-GGUF凭借其全面的风险分类和动态政策适应能力，为各种场景下的内容安全评估提供了强大的支持，是保障信息环境安全的有力工具。

【免费下载链接】SingGuard-4b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-4b-GGUF