正文

fast.ai 端到端项目：零基础构建图像分类模型全流程

AI资讯V管理员 /阅读
07 12

?️ fast.ai 端到端项目：零基础构建图像分类模型全流程


刚接触机器学习的朋友可能会觉得构建图像分类模型是件特复杂的事，又是代码又是数学公式，头都大了。但有了 fast.ai 这个神器，就算你是零基础，也能一步步搭起自己的图像分类模型。今天咱就从头到尾过一遍，看看怎么用 fast.ai 搞定这个事。

? 一、认识 fast.ai：让深度学习变简单


好多人一听说深度学习，就觉得得精通 Python、懂复杂的神经网络架构，还得会调各种参数。其实 fast.ai 就是专门给咱普通开发者和数据爱好者准备的，它把复杂的深度学习流程封装好了，不用你从头写大量代码，就能用最先进的模型。

fast.ai 基于 PyTorch 开发，自带了好多预训练模型，像 ResNet、VGG 这些常用的都有。而且它的 API 特别友好，几行代码就能完成数据加载、模型训练、结果评估这些关键步骤。对新手特别友好，不用纠结底层细节，先把模型跑起来再说。

比如说，传统的深度学习框架可能需要你自己处理数据加载管道，写数据增强代码，手动定义损失函数和优化器。但在 fast.ai 里，这些都给你打包好了，一个 DataBlock 就能搞定数据处理，一个 Learner 就能开始训练，是不是很省心？

? 二、准备工作：环境搭建和数据准备


1. 环境搭建


首先得安装 fast.ai 和相关依赖。打开终端，输入 pip install fastai 就行。不过建议大家用 Conda 环境，避免包冲突。要是你用 Colab 或者 Kaggle 这些云端平台，里面一般都预装好了 fast.ai，直接用就行，省得自己配置环境了。

另外，还得装个代码编辑器，VS Code 就挺好用，装个 Python 插件，写代码、调试都方便。当然，Jupyter Notebook 也不错，适合边写代码边看结果，新手用这个更直观。

2. 数据准备


构建图像分类模型，数据是关键。数据可以自己收集，比如用爬虫爬网上的图片，也可以用公开数据集，像 MNIST、CIFAR - 10、ImageNet 子集这些。数据格式一般是按类别分文件夹，比如 train 文件夹下每个子文件夹是一个类别，里面放对应的图片，valid 文件夹同样结构，用于验证。

举个例子，要是做猫狗分类，数据目录就是这样：

plaintext
data/  
  train/  
    cat/  
      cat_1.jpg  
      cat_2.jpg  
      ...  
    dog/  
      dog_1.jpg  
      dog_2.jpg  
      ...  
  valid/  
    cat/  
      cat_3.jpg  
      ...  
    dog/  
      dog_3.jpg  
      ...

数据准备好后，得检查图片格式是否正确，有没有损坏的图片，分辨率是不是统一。fast.ai 支持常见的图片格式，像 JPEG、PNG 都没问题。如果图片分辨率差异大，可以在数据加载的时候统一调整大小，比如 resize 到 224x224。

? 三、数据处理：从原始数据到模型输入


1. 加载数据


在 fast.ai 里，用 DataBlock 来定义数据处理流程。首先得告诉它数据在哪，怎么划分训练集和验证集，怎么加载图片，怎么标注类别。比如说，数据在 path 目录下，训练集和验证集分别在 train 和 valid 文件夹，类别就是文件夹名，那代码大概是这样：

python
from fastai.vision.all import *  
path = Path('data')  
dblock = DataBlock(  
    blocks=(ImageBlock, CategoryBlock),  
    get_items=get_image_files,  
    splitter=DirectorySplitter(),  
    get_y=parent_label,  
    item_tfms=Resize()  
)

这里 blocks 指定了输入是图像，输出是类别；splitter 按目录划分训练集和验证集；get_y 用父文件夹名作为标签；item_tfms 把图片 resize 到 224x224。

2. 数据增强


为了让模型更健壮，防止过拟合，得做数据增强。比如随机翻转、旋转、缩放、加噪声等。在 fast.ai 里，只需要在 DataBlock 里加 batch_tfms 就行，像这样：

python
dblock = dblock.with_batch_tfms([*aug_transforms()])

aug_transforms() 里包含了常用的数据增强操作，像水平翻转、随机旋转、亮度调整等。当然，你也可以自己定义数据增强策略，比如只做水平翻转，或者加高斯模糊。

3. 创建数据加载器


数据处理好了，就可以创建数据加载器，把数据分成一批一批的，方便模型训练。用 dblock.dataloaders(path) 就能得到训练集和验证集的数据加载器 dls。可以通过 dls.show_batch() 看看数据长啥样，有没有处理正确。

比如说，显示一批训练数据，看看图片是不是正确加载，标签是不是对应正确的类别。如果有问题，赶紧检查数据目录结构和数据处理代码。

? 四、模型训练：从预训练模型开始


1. 选择预训练模型


fast.ai 支持好多预训练模型，常用的有 resnet34、resnet50、efficientnet_b0 等。预训练模型是在大规模数据集上训练过的，比如 ImageNet，用它们作为起点，训练自己的数据集，收敛快，准确率高，这就是迁移学习。

比如说，要是数据集不大，选 resnet34 就行，参数量少，训练快；要是数据集大，想追求更高的准确率，可以选 efficientnet_b3 之类的模型，不过训练时间会更长，对硬件要求也更高。

2. 创建学习器


有了数据加载器和预训练模型，就可以创建学习器了。用 cnn_learner 函数，指定数据加载器 dls，模型架构，损失函数等。比如：

python
learn = cnn_learner(dls, resnet34, loss_func=CrossEntropyLoss(), metrics=accuracy)

这里损失函数用交叉熵损失，指标用准确率。cnn_learner 会自动处理模型的迁移学习过程，把预训练模型的参数加载进来，然后根据自己的数据集调整最后一层全连接层。

3. 训练模型


训练分两步，先冻结预训练模型的底层参数，只训练最后一层，等收敛了再解冻所有参数，微调整个模型。先用 learn.fit_one_cycle(3) 训练 3 个周期，这里用了 OneCycleLR 学习率策略，自动调整学习率，效果更好。

训练过程中，可以在控制台看到每个周期的训练损失、验证损失和准确率。要是验证准确率在上升，损失在下降，说明模型在正常学习；要是验证准确率不升反降，可能过拟合了，得加正则化，比如增大权重衰减，或者用 dropout。

4. 微调模型


冻结训练之后，用 learn.unfreeze() 解冻所有参数，然后降低学习率，再训练几个周期。比如 learn.fit_one_cycle(5, lr_max=1e - 4)，这里 lr_max 设得比冻结训练时低，避免破坏预训练模型的参数。

微调的时候，训练时间会更长，因为每个参数都在更新。这时候可以观察学习率曲线，用 learn.lr_find() 找到合适的学习率，让训练更高效。

?️ 五、模型优化：提升准确率的小技巧


1. 调整超参数


超参数包括学习率、批量大小、训练周期数、权重衰减等。学习率很关键，太高容易发散，太低收敛慢，用 learn.lr_find() 找最佳学习率。批量大小根据显卡内存来，内存大可以设大一点，比如 64、128，内存小就设 32、16。

权重衰减相当于 L2 正则化，防止过拟合，一般设 1e - 4 左右。训练周期数不是越多越好，太多可能过拟合，看验证集准确率，不提升了就可以停了。

2. 处理不平衡数据集


要是有的类别数据特别多，有的特别少，模型容易偏向数据多的类别。可以用数据增强增加少数类别的数据，或者在损失函数里加类别权重，比如用 WeightedCrossEntropyLoss。

另外，也可以用欠采样减少多数类别的数据，或者过采样生成少数类别的数据，比如用 SMOTE 算法，但图像数据常用数据增强的方法。

3. 可视化预测结果


用 learn.show_results() 看看模型错在哪，哪些图片分类错了，是因为图片模糊，还是类别之间太相似。比如猫狗分类里，有的狗长得像猫，或者图片拍得不清楚，模型认错了，这些情况可以人工处理，增加这些难样本的数据。

还可以用混淆矩阵 confusion_matrix 看看各个类别之间的混淆情况，找出容易混淆的类别对，针对性地增加这些类别的训练数据，或者调整模型结构。

? 六、模型评估和导出


1. 评估模型


训练完了，用测试集评估模型的泛化能力。如果没有单独的测试集，可以在数据划分的时候，留出一部分作为测试集，或者用交叉验证。用 learn.evaluate(dls.test) 得到测试集上的损失和准确率。

除了准确率，还可以看精确率、召回率、F1 分数，特别是类别不平衡的时候，这些指标更能反映模型的性能。比如少数类别的召回率低，说明模型对少数类别识别不好，得重点优化。

2. 导出模型


模型训练好了，可以导出为文件，方便部署。用 learn.export('model.pkl') 保存模型，包含了数据处理流程和训练好的参数。部署的时候，加载这个文件，就能用模型预测了。

导出的模型可以用在网页应用、移动应用或者服务器上，比如用 Flask 搭建 API，或者用 TensorRT 加速推理。

3. 预测新图片


用 learn.predict('new_image.jpg') 预测新图片，返回预测的类别、概率和所有类别的概率列表。可以写个简单的脚本，批量预测图片，或者做个图形界面，方便用户使用。

比如说，做一个宠物分类的小工具，用户上传图片，模型马上告诉你是猫还是狗，甚至具体品种，是不是很实用？

? 七、实战案例：从零开始做一个花卉分类模型


假设我们要做一个花卉分类模型，数据用 Kaggle 上的花卉数据集，包含 10 个类别，每个类别有几百张图片。首先下载数据，按类别分好文件夹，然后按前面的步骤处理数据：

  1. 环境搭建：安装 fast.ai，打开 Jupyter Notebook。
  2. 数据准备：把数据放到 data/flowers 目录下，分 train 和 valid 文件夹，每个类别一个子文件夹。
  3. 数据处理：用 DataBlock 加载数据，做数据增强，创建数据加载器。
  4. 模型训练：选 resnet50 作为预训练模型，先冻结训练 3 个周期，再解冻微调 5 个周期。
  5. 模型优化：发现验证集准确率到 85% 后不再提升，检查混淆矩阵，发现某些相似花卉容易认错，增加这些类别的数据增强强度，重新训练，准确率提升到 88%。
  6. 评估导出：用测试集评估，准确率 87%，导出模型，写个预测脚本，输入图片路径就能得到分类结果。

整个过程下来，就算是零基础，跟着步骤走，也能把模型做出来，是不是很有成就感？

❓ 八、常见问题和解决办法


1. 训练时显存不足怎么办？


减小批量大小，比如从 64 降到 32、16，或者换显存更大的显卡。另外，用混合精度训练，在 learn.fit_one_cycle 里加 mixed_precision=True，可以减少显存占用。

2. 模型过拟合了怎么办？


增加数据增强，比如加大旋转角度、加更多噪声；增大权重衰减；加 dropout 层；或者用早停法，看到验证损失不再下降就停止训练。

3. 预测结果不准怎么办？


检查数据是否正确，有没有标注错误；看看是不是数据量太少，需要增加数据；或者换更复杂的模型，比如从 resnet34 换成 resnet101，或者用 EfficientNet 系列模型。

4. 找不到数据文件怎么办？


确认文件路径是否正确，用 Path('data').exists() 检查路径是否存在，用 get_image_files(path) 看看能不能获取到图片文件，可能是文件夹名写错了，或者数据没下载完整。

? 总结


用 fast.ai 构建图像分类模型，真的没想象中那么难。只要按步骤来，准备好数据，处理好数据，选对预训练模型，训练的时候注意调参和优化，就算是零基础也能做出不错的模型。

整个过程中，数据准备和处理是基础，直接影响模型效果；迁移学习是关键，让我们能用预训练模型快速上手；训练和优化需要耐心，多试试不同的参数和策略，看看效果怎么变。

现在，你可以自己动手试试，找个感兴趣的数据集，比如宠物分类、植物识别、商品图片分类，按照这个流程走一遍，亲身体验一下用 fast.ai 构建模型的乐趣。遇到问题别慌，多查文档，多交流，慢慢就熟练了。

【该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具】