首页/资讯中心/详情

基于PCA与KNN的经典人脸识别：从特征脸到分类实战

基于PCA与KNN的经典人脸识别：从特征脸到分类实战
📅 发布时间：2026/8/2 3:41:39

1. 项目概述与核心价值

最近在整理一些老项目，翻到了当年用Matlab做的人脸识别实验，用的还是经典的ORL数据集，方法也是PCA（主成分分析）加KNN（K近邻）这套组合拳。虽然现在深度学习大行其道，各种卷积神经网络（CNN）刷榜，但PCA+KNN这套方法依然是理解模式识别、特征降维和分类器原理的绝佳入门路径。它不依赖复杂的框架和庞大的算力，一台普通的电脑，一个Matlab，就能把从原始图像到最终识别结果的整个流程跑通，对于想弄懂“人脸识别到底是怎么一回事”的朋友来说，再合适不过。

这个项目的核心，就是解决一个最基础的模式识别问题：给定一张新的人脸图片，系统如何判断它属于已知的哪一个人？ORL数据集提供了40个人，每人10张不同姿态和表情的图片，共400张，是一个小而精的标准测试集。我们的任务就是利用PCA从这些图片中提炼出最能代表人脸特征的“主成分”（也叫特征脸），然后用KNN分类器根据这些特征来判断新图片的身份。整个过程涉及图像读取、数据预处理、矩阵运算、降维、距离计算和分类评估，可以说是把数字图像处理和机器学习的基础知识点串了一遍。无论你是学生做课程设计，还是工程师想温故知新，这个项目都能给你带来清晰的认知和可以直接运行的代码。

2. 核心思路与方案选型解析

2.1 为什么选择PCA+KNN？

在动手之前，得先想明白为什么是PCA和KNN，而不是别的。这背后是对于问题特性和方法特性的权衡。

首先，人脸图像数据维度极高。一张92x112的ORL人脸图，拉直成一个向量就是10304维。直接在这个超高维空间里进行距离计算或分类，不仅计算量巨大（“维度灾难”），而且很多维度是冗余的（比如背景像素、相关性强的相邻像素）。PCA的核心作用就是降维和去冗余。它通过线性变换，找到原始数据方差最大的几个方向（主成分），用少数几个主成分就能近似表示原始图像。在人脸识别中，这些主成分被形象地称为“特征脸”（Eigenfaces）。我们不需要所有的10304维，可能只需要前50或100个主成分，就能捕获人脸最本质的结构信息，这极大地压缩了数据，提升了后续计算的效率。

其次，KNN是一种简单直观的惰性学习分类器。它不需要像神经网络那样漫长的训练过程，其“训练”本质就是保存所有训练样本的特征。分类时，计算待测样本与所有训练样本在降维后空间中的距离（通常是欧氏距离），找出距离最近的K个“邻居”，然后根据这K个邻居的类别投票决定待测样本的类别。对于像ORL这样类别数（40人）不算太多、类内变化（同一人的不同照片）相对类间变化（不同人）不是特别极端的数据集，KNN往往能取得不错的效果。它的可解释性强，调参简单（主要就是K值），非常适合作为原理验证和基线模型。

注意：PCA+KNN是一种线性方法。PCA是线性降维，它对于光照、姿态的非线性变化处理能力有限。这也是为什么在更复杂、非约束条件下，它的性能不如非线性模型（如深度学习）的原因。但正是这种简洁性，让我们能聚焦于流程本身。

2.2 整体流程设计

整个项目的流水线可以清晰地分为几个阶段，我习惯称之为“四步走”：

  1. 数据准备与预处理：读取ORL数据集，将图像转换为向量，并组织成训练集和测试集。通常采用留一法（每人前N张训练，后M张测试）或交叉验证。
  2. 特征提取与降维（PCA）：
    • 计算所有训练样本的平均脸。
    • 将每个训练样本减去平均脸，得到零均值的数据。
    • 计算零均值数据的协方差矩阵（或更高效地，通过SVD分解）。
    • 选取协方差矩阵前d个最大特征值对应的特征向量，这些就是特征脸，构成了一个从高维到低维的投影矩阵。
    • 将训练数据和测试数据都投影到这个低维子空间（特征脸空间）中，得到降维后的特征向量。
  3. 模型训练与分类（KNN）：严格来说，KNN没有显式的训练阶段。我们将所有降维后的训练样本特征及其标签存储起来，这就是“模型”。对于每一个降维后的测试样本特征，计算它与所有训练特征的距离，执行K近邻搜索和投票，得到预测标签。
  4. 性能评估：比较预测标签和真实标签，计算识别准确率、混淆矩阵等指标，评估系统性能。

这个流程逻辑严密，每一步的输入输出都很明确，非常适合用Matlab的矩阵操作和内置函数高效实现。

3. 核心细节解析与实操要点

3.1 ORL数据集的理解与处理

ORL数据集虽然经典，但处理时也有些细节需要注意。它包含40个文件夹（s1到s40），每个文件夹下有10张pgm格式的灰度图像，尺寸为92x112。图像已经过初步的归一化（如人脸大致居中），但仍存在表情（笑、闭眼）、姿态（轻微旋转）和细节（戴眼镜/不戴眼镜）的变化。

关键处理步骤：

  1. 读取与向量化：使用imread读取每张图片，然后用(:)操作将其拉直成一个列向量（10304 x 1）。将所有训练图片的列向量并排放在一起，形成一个数据矩阵X（10304 x N_train）。
  2. 数据集划分策略：最常用的策略是每人随机选取一定数量作为训练，其余作为测试。例如，每人选5张训练，5张测试，则总训练样本数N_train=200，测试样本数N_test=200。为了结果稳定，可以采用多次随机划分取平均，或者使用留一法交叉验证（每人每次用9张训练，1张测试，轮流10次）。在初步开发时，建议先用固定的随机种子划分，确保结果可复现。
  3. 数据归一化：PCA对数据的尺度敏感。虽然图像像素值范围一般在0-255，但进行PCA前，将数据零均值化（减去平均脸）是必须的。是否需要进一步做标准化（除方差）？在人脸识别中，由于所有像素尺度相同（灰度值），通常零均值化已足够。标准化有时反而会放大噪声的影响。
% 示例：读取并构建训练数据矩阵 train_data = []; train_labels = []; for i = 1:40 % 40个人 for j = 1:5 % 每人取前5张训练 img_path = sprintf('ORL/s%d/%d.pgm', i, j); img = imread(img_path); img_vector = double(img(:)); % 转换为双精度并拉直 train_data = [train_data, img_vector]; train_labels = [train_labels; i]; % 标签为人脸ID end end % 计算平均脸 mean_face = mean(train_data, 2); % 零均值化 train_data_zero = train_data - mean_face;

3.2 PCA降维的关键参数与“特征脸”可视化

PCA的核心是找到主成分。在Matlab中，我们可以直接用pca函数，但为了理解原理，我更喜欢从协方差矩阵的特征分解入手。

步骤详解：

  1. 计算协方差矩阵：数据矩阵A的大小是[dim, num_samples]。协方差矩阵C = A * A'的大小是[dim, dim]（10304x10304），这个矩阵非常大，直接计算特征分解不现实。这里用一个数学技巧：我们知道，C = A * A'的特征值和L = A' * A的特征值有直接关系，且L的大小是[num_samples, num_samples]（200x200），计算量小得多。C的特征向量（特征脸）可以通过A乘以L的特征向量得到。
  2. 选择降维维度d：这是最重要的参数。d太小，信息损失大，识别率低；d太大，会引入噪声，计算量增加，可能过拟合。如何选择？
    • 方差贡献率：计算前d个特征值的和占所有特征值总和的百分比。通常选择贡献率达到90%~95%以上的d。可以绘制特征值的累加贡献率曲线（碎石图）来观察。
    • 通过实验确定：在测试集上跑不同d值下的识别率，绘制d-准确率曲线，选择准确率趋于稳定或开始下降的拐点附近的d。 对于ORL数据集，d在30到100之间通常能取得不错的效果。前几个特征脸往往对应光照、整体轮廓等全局特征，后面的则对应更细节的特征。
% 示例：通过SVD求解PCA（更稳定高效） [U, S, V] = svd(train_data_zero, 'econ'); % U的每一列就是一个特征向量（特征脸） eigenfaces = U; % 计算特征值（奇异值的平方） eigenvalues = diag(S).^2; % 计算累计贡献率 total_var = sum(eigenvalues); cum_var = cumsum(eigenvalues) / total_var; % 找到贡献率大于95%的最小维度d d = find(cum_var >= 0.95, 1); % 选取前d个特征脸作为投影基 projection_base = eigenfaces(:, 1:d); % 将训练数据投影到特征脸空间 train_features = projection_base' * train_data_zero;
  1. 可视化特征脸：将选中的特征脸（U的前几列）从向量reshape回92x112的图像，用imshow显示。前几个特征脸看起来像“鬼脸”，反映了数据中变化最大的方向。可视化能直观感受PCA提取了什么特征。

3.3 KNN分类器的距离度量与K值选择

降维后，每个脸都变成了一个d维的特征向量。KNN就在这个空间里工作。

  1. 距离度量：最常用的是欧氏距离（L2距离），计算简单，在特征脸空间这种各维度重要性经过PCA排序后的空间里表现良好。Matlab中可用pdist2函数高效计算所有样本对之间的距离矩阵。
  2. K值选择：K是另一个关键参数。
    • K太小（如K=1）：模型复杂，对噪声敏感，容易过拟合。
    • K太大：模型简单，但可能将不同类别的样本包含进来，导致欠拟合，特别是当类别边界模糊时。
    • 经验法则：K通常取奇数，避免平票。对于ORL这种40类的任务，K值可以从1、3、5、7开始尝试。可以通过交叉验证在训练集上选择最优K。例如，将训练集再分为训练子集和验证子集，遍历不同的K，选择在验证集上准确率最高的那个。
% 示例：KNN分类预测 test_data_zero = test_data - mean_face; % 测试数据同样减去训练集的平均脸 test_features = projection_base' * test_data_zero; % 测试数据投影 % 使用pdist2计算距离（测试特征 vs 训练特征） dist_matrix = pdist2(test_features', train_features'); % 注意转置，使样本在行方向 % 对每个测试样本，找出距离最近的K个训练样本的索引 [~, sorted_idx] = sort(dist_matrix, 2); K = 3; nearest_idx = sorted_idx(:, 1:K); % 获取这K个邻居的标签 nearest_labels = train_labels(nearest_idx); % 投票决定预测标签（mode函数求众数） predicted_labels = mode(nearest_labels, 2);

实操心得：在Matlab中实现KNN时，如果测试集很大，计算完整的距离矩阵可能内存消耗大。可以循环处理每个测试样本，或者使用knnsearch函数（需要Statistics and Machine Learning Toolbox），它针对KNN搜索进行了优化。

4. 完整实现流程与代码剖析

下面我将结合代码，分模块讲解一个完整的、可运行的PCA+KNN人脸识别系统实现。假设我们的数据集划分是每人前5张训练，后5张测试。

4.1 主程序框架 (main.m)

%% 主程序：PCA+KNN人脸识别 clear; clc; close all; %% 1. 参数设置 data_path = './ORL'; % ORL数据集路径 train_num_per_person = 5; % 每人训练图片数 test_num_per_person = 5; % 每人测试图片数 person_num = 40; % 总人数 img_size = [112, 92]; % 图像高、宽 K = 3; % KNN的K值 d = 50; % PCA降维后的维度（可后续调整） %% 2. 加载并划分数据集 fprintf('正在加载和划分数据集...\n'); [train_data, train_labels, test_data, test_labels] = ... load_and_split_data(data_path, person_num, train_num_per_person, img_size); fprintf('训练集大小: %d张, 测试集大小: %d张\n', ... size(train_data,2), size(test_data,2)); %% 3. PCA特征提取 fprintf('正在进行PCA特征提取...\n'); [mean_face, projection_base, train_features] = ... pca_train(train_data, d); %% 4. KNN分类与评估 fprintf('正在进行KNN分类...\n'); [predicted_labels, accuracy] = ... knn_predict(test_data, train_features, train_labels, mean_face, projection_base, K); fprintf('\n===== 识别结果 =====\n'); fprintf('测试集总体识别准确率: %.2f%%\n', accuracy * 100);

4.2 数据加载与划分函数 (load_and_split_data.m)

这个函数负责从磁盘读取图像，并按照设定划分训练集和测试集。

function [train_data, train_labels, test_data, test_labels] = ... load_and_split_data(data_path, person_num, train_num, img_size) % 初始化 height = img_size(1); width = img_size(2); dim = height * width; train_data = zeros(dim, person_num * train_num); test_data = zeros(dim, person_num * (10 - train_num)); train_labels = zeros(person_num * train_num, 1); test_labels = zeros(person_num * (10 - train_num), 1); train_idx = 1; test_idx = 1; for i = 1:person_num folder_name = fullfile(data_path, ['s' num2str(i)]); for j = 1:10 img_name = fullfile(folder_name, [num2str(j) '.pgm']); img = imread(img_name); img_vec = double(img(:)); % 转换为双精度列向量 if j <= train_num % 前train_num张作为训练 train_data(:, train_idx) = img_vec; train_labels(train_idx) = i; train_idx = train_idx + 1; else % 后10-train_num张作为测试 test_data(:, test_idx) = img_vec; test_labels(test_idx) = i; test_idx = test_idx + 1; end end end % 裁剪预分配的多余空间（如果train_num不是5） train_data = train_data(:, 1:train_idx-1); test_data = test_data(:, 1:test_idx-1); train_labels = train_labels(1:train_idx-1); test_labels = test_labels(1:test_idx-1); end

要点说明：使用fullfile构建路径更安全，兼容不同操作系统。预分配数组大小（zeros）能显著提升循环效率。将图像转换为double类型是为了后续的矩阵运算。

4.3 PCA训练函数 (pca_train.m)

这个函数完成PCA的核心计算：求平均脸、零均值化、特征分解、选择主成分、投影。

function [mean_face, projection_base, train_features] = pca_train(train_data, d) % 计算平均脸 mean_face = mean(train_data, 2); % 零均值化 train_data_zero = train_data - mean_face; % 方法1：通过协方差矩阵 (A*A')，当样本数远小于维度时，采用技巧 % num_samples = size(train_data_zero, 2); % L = (train_data_zero' * train_data_zero) / (num_samples - 1); % 小矩阵 % [V, D] = eig(L); % [eigenvalues, idx] = sort(diag(D), 'descend'); % V = V(:, idx); % % 计算特征脸: U = A * V * diag(1./sqrt(eigenvalues)) % U = train_data_zero * V; % for i = 1:size(U,2) % U(:,i) = U(:,i) / norm(U(:,i)); % end % 方法2：使用SVD，更数值稳定（推荐） [U, S, ~] = svd(train_data_zero, 'econ'); % 'econ'节省计算 eigenvalues = diag(S).^2 / (size(train_data_zero,2)-1); % 如果未指定d，则根据方差贡献率自动选择（例如95%） if nargin < 2 || isempty(d) total_var = sum(eigenvalues); cum_var = cumsum(eigenvalues) / total_var; d = find(cum_var >= 0.95, 1); fprintf('自动选择PCA维度 d = %d (方差贡献率 >= 95%%)\n', d); end % 选取前d个特征向量作为投影基 projection_base = U(:, 1:d); % 将训练数据投影到特征脸空间 train_features = projection_base' * train_data_zero; % 可选：可视化前16个特征脸 figure('Name', '前16个特征脸 (Eigenfaces)'); for i = 1:min(16, d) subplot(4,4,i); eigenface = reshape(projection_base(:,i), 112, 92); % 注意reshape顺序 imagesc(eigenface); colormap('gray'); axis image off; title(sprintf('Eigenface %d', i)); end end

核心细节：使用SVD (svd) 是计算PCA更稳健的方法，特别是当数据矩阵很大时。‘econ’参数能产生经济型的分解，节省内存和计算时间。特征脸需要reshape回图像尺寸才能可视化，注意Matlab的reshape是按列优先的，而图像矩阵通常是行优先存储，所以尺寸参数(112, 92)对应(height, width)。

4.4 KNN预测函数 (knn_predict.m)

这个函数负责将测试数据投影后，执行KNN分类，并计算准确率。

function [predicted_labels, accuracy] = knn_predict(test_data, train_features, ... train_labels, mean_face, ... projection_base, K) % 测试数据预处理：减去相同的平均脸 test_data_zero = test_data - mean_face; % 测试数据投影到特征脸空间 test_features = projection_base' * test_data_zero; % 计算欧氏距离矩阵 (测试样本数 x 训练样本数) % 使用pdist2，也可以自己用矩阵运算实现: sqrt(sum((A-B).^2, 2)) dist_matrix = pdist2(test_features', train_features'); % 寻找每个测试样本的K个最近邻 [~, sorted_index] = sort(dist_matrix, 2); nearest_K_index = sorted_index(:, 1:K); % 获取K个最近邻的标签 nearest_K_labels = train_labels(nearest_K_index); % 投票决定预测标签 (对于平票，mode取最小值，通常K为奇数可避免) predicted_labels = mode(nearest_K_labels, 2); % 注意：如果提供了test_labels，则计算准确率 % 假设test_labels是输入参数的一部分，这里我们修改函数签名来接收它 % 在main.m中调用时需传入test_labels end % 实际在main.m中调用的版本应包含test_labels参数 function [predicted_labels, accuracy] = knn_predict(test_data, train_features, ... train_labels, test_labels, ... mean_face, projection_base, K) % ... (前面代码相同) predicted_labels = mode(nearest_K_labels, 2); % 计算准确率 accuracy = sum(predicted_labels == test_labels) / length(test_labels); end

性能优化提示：当数据量较大时，pdist2计算全距离矩阵可能成为瓶颈。对于非常大的数据集，可以考虑使用knnsearch函数（需要Statistics and Machine Learning Toolbox），它针对近邻搜索进行了优化，或者使用KD-tree等数据结构。但对于ORL这个规模（几百个样本），pdist2完全足够。

4.5 结果可视化与扩展分析

在主程序获得预测结果后，我们可以进行更丰富的分析。

%% 5. 结果分析与可视化 % 计算并显示混淆矩阵 figure('Name', '混淆矩阵 (Confusion Matrix)'); cm = confusionmat(test_labels, predicted_labels); imagesc(cm); colorbar; xlabel('预测标签'); ylabel('真实标签'); title(sprintf('混淆矩阵 (总体准确率: %.2f%%)', accuracy*100)); % 在格子上显示数字 textStrings = num2str(cm(:), '%d'); textStrings = strtrim(cellstr(textStrings)); [x, y] = meshgrid(1:person_num); hStrings = text(x(:), y(:), textStrings(:), ... 'HorizontalAlignment', 'center', 'Color', 'white'); % 调整字体颜色以提高对比度 midValue = mean(get(gca, 'CLim')); textColors = repmat(cm(:) > midValue, 1, 3); set(hStrings, {'Color'}, num2cell(textColors, 2)); % 找出识别错误样本 error_idx = find(predicted_labels ~= test_labels); if ~isempty(error_idx) fprintf('\n识别错误的样本索引（测试集中）: \n'); disp(error_idx'); % 可视化第一个错误样本 sample_idx = error_idx(1); wrong_img = reshape(test_data(:, sample_idx), img_size); true_id = test_labels(sample_idx); pred_id = predicted_labels(sample_idx); figure('Name', '错误识别示例'); subplot(1,3,1); imshow(uint8(wrong_img)); title(sprintf('测试图像 (ID:%d)', true_id)); % 显示被误认为的人的平均脸或某张训练图 subplot(1,3,2); % 找到预测ID对应的某张训练图像 train_img_idx = find(train_labels == pred_id, 1); train_img = reshape(train_data(:, train_img_idx), img_size); imshow(uint8(train_img)); title(sprintf('误匹配为 (ID:%d)', pred_id)); % 显示真实ID的平均脸 subplot(1,3,3); true_mean_face = mean(train_data(:, train_labels==true_id), 2); imshow(reshape(uint8(true_mean_face), img_size)); title(sprintf('真实ID:%d的平均脸', true_id)); end % 绘制PCA维度d与识别率的关系曲线（可选，需要循环运行） % d_range = [1, 2, 5, 10, 20, 30, 50, 80, 100, 150]; % accuracies = zeros(size(d_range)); % for idx = 1:length(d_range) % d_current = d_range(idx); % % ... 重复PCA训练和KNN预测 ... % accuracies(idx) = accuracy; % end % figure; plot(d_range, accuracies, '-o'); xlabel('PCA维度 d'); ylabel('识别准确率'); % title('PCA维度对识别率的影响'); grid on;

可视化混淆矩阵能清晰看出系统在哪些人之间容易混淆。分析错误样本，可能发现是戴眼镜/不戴眼镜、侧脸/正脸等变化导致了误识别，这揭示了线性PCA方法的局限性。

5. 常见问题、调优与深度思考

5.1 实验中的典型问题与解决方案

  1. 问题：识别率过低（例如低于70%）

    • 检查数据划分：确保训练集和测试集没有重叠。检查load_and_split_data函数中的索引计算是否正确。
    • 检查数据预处理：确认是否对所有数据（包括测试集）减去了训练集的平均脸，而不是各自减去自己的平均。这是一个常见错误。
    • 调整PCA维度d：d太小会丢失关键特征，太大引入噪声。通过绘制d-准确率曲线找到合适的值。对于ORL，30-100是常见有效范围。
    • 调整KNN的K值：尝试K=1, 3, 5, 7。对于小数据集，K=1或3往往不错。使用交叉验证选择。
    • 检查距离度量：确保使用的是欧氏距离。尝试其他距离（如曼哈顿距离、余弦距离），看是否有提升。在Matlab的pdist2中可以通过参数指定。

  2. 问题：程序运行慢

    • 瓶颈在PCA特征分解：如果使用协方差矩阵法（A*A'），10304x10304的矩阵分解极其缓慢。务必使用基于A'*A的技巧或SVD方法。
    • 向量化操作：避免在循环中对单个样本进行投影或距离计算。利用Matlab的矩阵运算一次性处理所有样本。
    • 预分配数组：在load_and_split_data等函数中已体现，能避免动态扩展数组带来的巨大开销。

  3. 问题：特征脸图像显示为杂乱无章

    • reshape尺寸错误：图像尺寸是112x112？还是92x112？ORL通常是112（高）x92（宽）。reshape(vector, height, width)，参数顺序很重要。
    • 特征向量未归一化：从A'*A计算得到的特征向量V，在计算特征脸U=A*V后，需要对U的每一列进行归一化（除以其范数），否则显示亮度可能异常。
    • 显示前未调整灰度范围：特征脸向量值可能为负或超出0-255。使用imagesc自动缩放，或使用mat2gray将其归一化到[0,1]区间显示。

5.2 性能提升与方案调优思路

基础流程跑通后，可以尝试以下改进来提升识别率或理解更高级的概念：

  1. 数据预处理增强：

    • 直方图均衡化：在图像向量化前，对每张人脸进行直方图均衡化，可以增强对比度，部分消除光照影响。
    img = imread(img_path); img_eq = histeq(img); % 直方图均衡化 img_vector = double(img_eq(:));
    • 人脸对齐：虽然ORL已大致对齐，但更精细的眼睛、鼻子关键点对齐能进一步提升性能。这需要额外的人脸特征点检测步骤。

  2. PCA的改进与替代：

    • LDA（线性判别分析）：PCA是无监督的，只追求最大方差。LDA是有监督的，追求类间散度最大、类内散度最小，理论上更利于分类。可以尝试PCA+LDA（先用PCA降维到中间维度，再用LDA投影到c-1维，c为类别数）。
    • 核PCA（KPCA）：使用核函数将数据映射到高维空间再进行PCA，可以捕捉非线性特征。对于表情、姿态变化可能有效，但计算更复杂。

  3. 分类器的改进与替代：

    • SVM（支持向量机）：对于小样本分类，SVM通常比KNN表现更稳健。可以尝试对每个降维后的特征训练一个多类SVM（如one-vs-rest）。
    • 距离加权KNN：在KNN投票时，给距离更近的邻居赋予更高的权重，而不是一票一权。
    • 调整距离度量：余弦距离衡量的是方向相似性，对特征向量的整体缩放不敏感，有时在人脸特征空间表现优于欧氏距离。

  4. 评估方法的优化：

    • 交叉验证：上述固定划分可能因随机性导致评估不稳定。采用10折交叉验证（每人10张图，每次取9张训练1张测试，轮换10次）能得到更可靠的平均准确率。
    • 绘制ROC曲线：对于二分类问题（如判断是否为某人），可以绘制ROC曲线并计算AUC。对于多类，可以对每个类别分别计算。

5.3 从项目延伸出去的思考

完成这个基础项目后，你不应该只停留在“跑通代码”。可以深入思考以下问题，这能让你对模式识别有更深的理解：

  • 特征脸的本质是什么？前几个特征脸看起来像模糊的人脸，它们代表了数据中哪些共同的变异模式？后面的特征脸呢？尝试观察不同数量特征脸重建的人脸图像，理解降维与信息保留的关系。
  • 为什么测试集也要减去训练集的平均脸？这是因为PCA投影矩阵（特征脸空间）是在训练集上学习得到的，其坐标系的原点是训练集的平均脸。测试集必须使用相同的原点进行平移，才能投影到同一个空间中。这是机器学习中一个非常重要的概念——训练集和测试集必须使用相同的预处理变换。
  • KNN的决策边界是怎样的？在二维或三维空间中可视化几个人的降维特征，观察KNN是如何划分区域的。这能直观理解“最近邻”分类的含义。
  • 这个系统的瓶颈在哪里？显然是光照、姿态、表情等非线性变化。尝试在ORL数据集中找出那些被系统错误分类的图片，分析它们的特点。这自然引出了对更强大方法（如深度学习）的需求。

这个PCA+KNN的Matlab实现，就像一把钥匙，帮你打开了人脸识别和传统模式识别的大门。它的价值不在于追求最高的识别率，而在于提供了一个清晰、完整、可操控的范例，让你亲手触摸从数据到结果的每一个环节。理解了它，你再去学习更复杂的深度学习方法，就会知道那些卷积层、池化层、全连接层究竟在做什么，以及为什么它们能做得更好。