华为云Agentic Infra：企业级AI基础设施新范式的深度解析

一、引言：AI基础设施的范式革命

2026年6月5日，华为云INSPIRE创想者大会在上海国际会议中心盛大开幕，这场以"智能跃升，创想未来"为主题的技术盛会，汇聚了全球AI领域的顶尖学者、企业领袖和技术开发者。在本次大会上，华为云正式发布了Agentic Infra（智能体基础设施）新范式，这一里程碑式的发布标志着企业级AI基础设施正式迈入"Agentic Era"（智能体时代）。

1.1 为什么需要Agentic Infra？

传统的AI基础设施主要关注三个维度：算力供给（GPU/TPU集群）、模型服务（推理/训练基础设施）和数据管理（特征存储/向量数据库）。然而，随着大型语言模型（LLM）能力的爆发式提升，特别是多模态理解和复杂推理能力的突破，AI应用正在从"工具"向"智能体"（Agent）演进。

这种演进带来了全新的技术挑战：

传统AI系统特征： ├── 单次请求-响应模式 ├── 固定 prompt 输入 ├── 无状态或弱状态 └── 任务粒度：单一、原子 Agentic AI系统特征： ├── 多轮交互、持续对话 ├── 动态上下文构建 ├── 强状态记忆与检索 ├── 任务粒度：复杂、长程、多步骤 └── 自主规划与工具调用

传统的"计算密集型"基础设施已经无法满足"智能密集型"应用的需求。华为云正是洞察到了这一趋势，率先提出了Agentic Infra这一系统性解决方案。

1.2 Agentic Infra核心架构概览

华为云Agentic Infra新范式可以概括为**“四梁八柱”**的架构体系：

四大核心能力：

1. 高效Token工厂- 优化Token生成效率，降低推理成本
2. 持续学习- 支持模型的增量学习和知识更新
3. 通智一体化调度- 打通通用计算与智能计算的边界
4. 安全自治- 构建可信赖的Agent运行环境

四大核心产品：

• AICS灵衢智算集群
• AMS Agentic记忆存储
• CCE VolcanoNext通智一体化调度引擎
• AgentSphere安全自治运行环境

二、核心技术深度解析

2.1 AICS灵衢智算集群：10万卡级的算力基座

AICS（AIC Scheduler Intelligence Cluster）是华为云面向AI原生的新一代智算集群，其核心参数令人瞩目：

2.1.1 架构设计原理

AICS采用了分层解耦的架构设计，实现了计算、网络、存储的独立弹性扩展：

# Python示例：AICS集群资源调度模拟fromdataclassesimportdataclassfromtypingimportList,Dict,OptionalfromenumimportEnumimportasyncioclassResourceType(Enum):GPU="gpu"CPU="cpu"MEMORY="memory"NETWORK="network"STORAGE="storage"@dataclassclassComputeNode:node_id:strgpu_count:intgpu_memory:int# GBbandwidth:float# Gbpsstatus:str="idle"@dataclassclassTaskRequest:task_id:strrequired_gpus:intrequired_memory:intpriority:intestimated_duration:floatclassAICSClusterScheduler:"""AICS集群调度器核心实现"""def__init__(self):self.nodes:Dict[str,ComputeNode]={}self.task_queue:List[TaskRequest]=[]self.running_tasks:Dict[str,str]={}# task_id -> node_iddefregister_node(self,node:ComputeNode):"""注册计算节点"""self.nodes[node.node_id]=nodeprint(f"[AICS] Node{node.node_id}registered: "f"{node.gpu_count}GPUs,{node.bandwidth}Gbps")asyncdefsubmit_task(self,task:TaskRequest)->Optional[str]:""" 提交任务并自动调度到合适节点 调度策略： 1. 按优先级排序 2. 匹配资源需求 3. 考虑亲和性（任务内GPU通信优化） """# 资源匹配suitable_nodes=[]fornode_id,nodeinself.nodes.items():if(node.status=="idle"andnode.gpu_count>=task.required_gpusandnode.gpu_memory>=task.required_memory):# 计算调度得分（考虑带宽和GPU数量）score=node.bandwidth*(1/task.priority)suitable_nodes.append((node_id,score,node))ifnotsuitable_nodes:self.task_queue.append(task)returnNone# 选择得分最高的节点suitable_nodes.sort(key=lambdax:x[1],reverse=True)selected_node_id=suitable_nodes[0][0]# 执行调度returnawaitself._allocate_task(task,selected_node_id)asyncdef_allocate_task(self,task:TaskRequest,node_id:str)->str:"""任务分配"""self.nodes[node_id].status="running"self.running_tasks[task.task_id]=node_id# 模拟执行print(f"[AICS] Task{task.task_id}allocated to{node_id}")print(f"[AICS] Estimated completion:{task.estimated_duration}s")returnnode_iddefget_cluster_status(self)->Dict:"""获取集群状态"""total_gpus=sum(n.gpu_countforninself.nodes.values())running_gpus=sum(n.gpu_countforninself.nodes.values()ifn.status=="running")return{"total_nodes":len(self.nodes),"total_gpus":total_gpus,"running_gpus":running_gpus,"idle_gpus":total_gpus-running_gpus,"utilization":running_gpus/total_gpusiftotal_gpus>0else0,"queued_tasks":len(self.task_queue)}# 使用示例asyncdefdemo_aics_scheduler():scheduler=AICSClusterScheduler()# 注册计算节点（模拟大规模集群）foriinrange(100):node=ComputeNode(node_id=f"compute-node-{i:03d}",gpu_count=8,gpu_memory=640,# 80GB * 8bandwidth=800.0)scheduler.register_node(node)# 提交AI任务tasks=[TaskRequest("task-001",required_gpus=8,required_memory=640,priority=1,estimated_duration=120.0),TaskRequest("task-002",required_gpus=16,required_memory=1280,priority=2,estimated_duration=180.0),TaskRequest("task-003",required_gpus=32,required_memory=2560,priority=1,estimated_duration=300.0),]fortaskintasks:awaitscheduler.submit_task(task)# 打印集群状态status=scheduler.get_cluster_status()print(f"\n[AICS] Cluster Status:")print(f" Total GPUs:{status['total_gpus']}")print(f" Utilization:{status['utilization']:.2%}")print(f" Queued Tasks:{status['queued_tasks']}")# 运行演示asyncio.run(demo_aics_scheduler())

2.1.2 Token流水线优化

AICS的Token工厂采用了多项创新技术实现<10ms的推理时延：

1. KV Cache优化：采用分级缓存策略，热数据保持在HBM，次热数据下沉到CXL扩展内存
2. 增量计算：引入"增量解码"机制，仅计算新生成的Token
3. 投机解码：使用小模型预测+大模型验证的并行解码策略
4. 动态Batch：根据请求长度动态调整Batch Size，避免气泡

2.2 AMS Agentic记忆存储：PB级的认知底座

AMS（Agentic Memory Service）是华为云专为Agent设计的记忆存储系统，其核心创新在于多模态记忆的统一管理。

2.2.1 系统架构

packageamsimport("context""fmt""time""github.com/huawei/agentic-infra/proto")// MemoryType 定义记忆类型typeMemoryTypeint32const(MemoryTypeShortTerm MemoryType=iota// 短期记忆（工作内存）MemoryTypeWorking// 工作记忆（当前会话）MemoryTypeLongTerm// 长期记忆（持久化）MemoryTypeEpisodic// 情景记忆（事件序列）MemoryTypeSemantic// 语义记忆（知识图谱）)// MemoryEntry 单条记忆条目typeMemoryEntrystruct{IDstring`json:"id"`Type MemoryType`json:"type"`Contentstring`json:"content"`Embedding[]float32`json:"embedding,omitempty"`Metadatamap[string]string`json:"metadata"`CreatedAt time.Time`json:"created_at"`AccessedAt time.Time`json:"accessed_at"`Importancefloat32`json:"importance"`// 0.0-1.0AccessCountint`json:"access_count"`TTL time.Duration`json:"ttl,omitempty"`// 过期时间}// RetrievalQuery 记忆检索查询typeRetrievalQuerystruct{QueryTextstringQueryVector[]float32LimitintTimeRange*TimeRange MemoryTypes[]MemoryType Filtersmap[string]string}// RetrievalResult 检索结果typeRetrievalResultstruct{Memory*MemoryEntry Scorefloat32// 相关性得分}// AgenticMemoryStore Agent记忆存储核心接口typeAgenticMemoryStoreinterface{// 写入记忆Write(ctx context.Context,entry*MemoryEntry)error// 批量写入BatchWrite(ctx context.Context,entries[]*MemoryEntry)error// 检索记忆（向量+关键词混合检索）Retrieve(ctx context.Context,query*RetrievalQuery)([]*RetrievalResult,error)// 更新记忆访问记录UpdateAccess(ctx context.Context,idstring)error// 删除记忆Delete(ctx context.Context,idstring)error// 记忆压缩（合并相似记忆，删除低价值记忆）Compress(ctx context.Context,policy*CompressionPolicy)error// 获取会话记忆链GetMemoryChain(ctx context.Context,sessionIDstring)([]*MemoryEntry,error)}// CompressionPolicy 记忆压缩策略typeCompressionPolicystruct{MaxMemoriesPerSessionint// 单会话最大记忆数MinImportancefloat32// 最低重要性阈值MergeSimilarityfloat32// 相似记忆合并阈值RetainRecentHoursint// 保留最近N小时的记忆}// VectorStore 向量存储接口typeVectorStoreinterface{Upsert(collectionstring,vectors[]*VectorRecord)errorSearch(collectionstring,query[]float32,topKint)([]SearchResult,error)Delete(collectionstring,ids[]string)error}// KnowledgeGraph 知识图谱接口typeKnowledgeGraphinterface{AddTriple(subject,predicate,objectstring,confidencefloat32)errorQuery(querystring)([]*Triple,error)GetNeighbors(entitystring,depthint)([]*Triple,error)}// AMS主服务实现typeAMSServicestruct{shortTermStore*MemoryStore// 短期记忆（Redis）longTermStore*MemoryStore// 长期记忆（分布式存储）vectorStore VectorStore// 向量存储（Milvus集群）knowledgeGraph KnowledgeGraph// 知识图谱（Neo4j）// 配置config*AMSConfig}// NewAMSService 创建AMS服务实例funcNewAMSService(config*AMSConfig)(*AMSService,error){service:=&AMSService{config:config,}// 初始化各存储组件iferr:=service.initStores();err!=nil{returnnil,fmt.Errorf("failed to init stores: %w",err)}returnservice,nil}// StoreMemory 存储Agent记忆（支持自动分层）func(s*AMSService)StoreMemory(ctx context.Context,sessionIDstring,contentstring,memoryTyp