Python 实现遗传算法 (GA) 优化超参数：以 Scikit-learn SVM 为例的5步实战

Python 实现遗传算法优化 SVM 超参数：5 步实战指南

当机器学习模型遇到性能瓶颈时，超参数优化往往成为突破的关键。传统网格搜索和随机搜索虽然直观，但在高维参数空间中效率低下。本文将带您用 Python 从零实现遗传算法，针对 Scikit-learn 的 SVM 模型进行 C 和 gamma 参数优化，通过进化计算的力量寻找最优参数组合。

1. 遗传算法核心原理与实现

遗传算法模拟自然选择过程，通过种群迭代逐步逼近最优解。我们先构建算法核心组件：

import numpy as np from sklearn.model_selection import cross_val_score class GeneticAlgorithm: def __init__(self, population_size, gene_length, crossover_rate, mutation_rate, elitism_count): self.pop_size = population_size self.gene_len = gene_length self.crossover_rate = crossover_rate self.mutation_rate = mutation_rate self.elitism = elitism_count

1.1 种群初始化与编码设计

超参数优化需要合理的编码方案。对于 SVM 的 C 和 gamma 参数，我们采用对数尺度编码：

def initialize_population(self): # 对数尺度编码（10^-5到10^5范围） return np.random.uniform(-5, 5, (self.pop_size, self.gene_len))

这种编码方式能更好地覆盖超参数的典型取值范围，比线性尺度更符合实际需求。

1.2 适应度函数设计

适应度评估是遗传算法的核心，我们使用 5 折交叉验证的准确率作为评价标准：

def evaluate_fitness(self, individual, X, y, model): C = 10 ** individual[0] gamma = 10 ** individual[1] model.set_params(C=C, gamma=gamma) scores = cross_val_score(model, X, y, cv=5, n_jobs=-1) return np.mean(scores)

注意：在实际应用中，对于大型数据集可以考虑减少交叉验证折数或使用分层抽样来提高评估效率。

1.3 选择与繁殖机制

我们采用锦标赛选择结合精英保留策略：

def selection(self, population, fitness): # 锦标赛选择 selected = [] for _ in range(self.pop_size - self.elitism): candidates = np.random.choice(range(self.pop_size), size=3) winner = candidates[np.argmax([fitness[i] for i in candidates])] selected.append(population[winner]) return np.array(selected)

1.4 交叉与变异操作

采用模拟二进制交叉(SBX)和高斯变异：

def crossover(self, parent1, parent2): if np.random.rand() < self.crossover_rate: beta = np.random.normal(0, 1) child1 = 0.5*((1+beta)*parent1 + (1-beta)*parent2) child2 = 0.5*((1-beta)*parent1 + (1+beta)*parent2) return child1, child2 return parent1.copy(), parent2.copy() def mutation(self, individual): for i in range(self.gene_len): if np.random.rand() < self.mutation_rate: individual[i] += np.random.normal(0, 0.5) individual[i] = np.clip(individual[i], -5, 5) return individual

2. SVM 超参数优化实战

2.1 数据准备与算法配置

使用 Iris 数据集作为示例：

from sklearn import datasets from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler # 数据加载与预处理 iris = datasets.load_iris() X, y = iris.data, iris.target scaler = StandardScaler() X = scaler.fit_transform(X) # 遗传算法参数配置 ga = GeneticAlgorithm( population_size=20, gene_length=2, # C和gamma两个参数 crossover_rate=0.9, mutation_rate=0.1, elitism_count=2 )

2.2 进化过程可视化

实时监控种群进化情况：

import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D def plot_evolution(population, fitness, generation): plt.figure(figsize=(12, 5)) # 参数空间分布 plt.subplot(1, 2, 1) plt.scatter(population[:,0], population[:,1], c=fitness, cmap='viridis') plt.colorbar(label='Fitness') plt.xlabel('log10(C)') plt.ylabel('log10(gamma)') plt.title(f'Generation {generation} - Parameter Space') # 适应度分布 plt.subplot(1, 2, 2) plt.hist(fitness, bins=10) plt.xlabel('Fitness') plt.ylabel('Count') plt.title('Fitness Distribution') plt.tight_layout() plt.show()

2.3 主循环执行

model = SVC(kernel='rbf') population = ga.initialize_population() best_fitness_history = [] for generation in range(50): fitness = [ga.evaluate_fitness(ind, X, y, model) for ind in population] best_idx = np.argmax(fitness) best_fitness_history.append(fitness[best_idx]) if generation % 5 == 0: plot_evolution(population, fitness, generation) # 选择、交叉、变异 selected = ga.selection(population, fitness) children = [] for i in range(0, len(selected), 2): child1, child2 = ga.crossover(selected[i], selected[i+1]) children.extend([ga.mutation(child1), ga.mutation(child2)]) # 精英保留 elite_indices = np.argsort(fitness)[-ga.elitism:] population = np.vstack([population[elite_indices], children[:ga.pop_size-ga.elitism]])

3. 高级优化技巧

3.1 自适应参数调整

动态调整变异率防止早熟收敛：

def adaptive_mutation_rate(self, generation, max_generations): base_rate = 0.1 min_rate = 0.01 # 随着代数增加逐渐降低变异率 return max(min_rate, base_rate * (1 - generation/max_generations))

3.2 多目标优化

同时优化准确率和模型复杂度：

def multi_objective_fitness(self, individual, X, y, model): C = 10 ** individual[0] gamma = 10 ** individual[1] model.set_params(C=C, gamma=gamma) # 目标1：分类准确率 accuracy = np.mean(cross_val_score(model, X, y, cv=5)) # 目标2：模型复杂度（支持向量比例） model.fit(X, y) sv_ratio = len(model.support_vectors_) / len(X) # 加权得分 return 0.8 * accuracy + 0.2 * (1 - sv_ratio)

3.3 并行化评估

利用 Joblib 加速适应度计算：

from joblib import Parallel, delayed def parallel_evaluation(self, population, X, y, model): return Parallel(n_jobs=-1)( delayed(self.evaluate_fitness)(ind, X, y, model) for ind in population )

4. 结果分析与模型部署

4.1 最优参数提取

final_fitness = [ga.evaluate_fitness(ind, X, y, model) for ind in population] best_idx = np.argmax(final_fitness) best_individual = population[best_idx] best_C = 10 ** best_individual[0] best_gamma = 10 ** best_individual[1] print(f"最优参数: C={best_C:.2f}, gamma={best_gamma:.4f}") print(f"交叉验证准确率: {final_fitness[best_idx]:.2%}")

4.2 与传统方法对比

4.3 最终模型训练

final_model = SVC(C=best_C, gamma=best_gamma, kernel='rbf') final_model.fit(X, y) # 模型保存 import joblib joblib.dump(final_model, 'optimized_svm_model.joblib')

5. 实际应用建议

1. 参数范围调整：根据问题规模调整编码范围，大数据集通常需要更小的 C 值
2. 种群多样性监控：定期检查种群标准差，避免早熟收敛
3. 混合策略：先用遗传算法缩小搜索范围，再用局部搜索微调
4. 早停机制：连续若干代没有改进时提前终止

# 早停机制示例 if len(best_fitness_history) > 10: if (np.max(best_fitness_history[-10:]) - np.min(best_fitness_history[-10:])) < 0.001: print("早停触发") break

遗传算法为超参数优化提供了全局搜索能力，特别适合高维、非凸的参数空间。本文实现的完整代码已包含所有关键组件，读者可以轻松扩展到其他机器学习模型和参数优化场景。