0.   引言

粗粒土是填方工程中常用的一种填料，广泛用作城市道路、高速铁路的路基填筑及土石坝坝体的施工^[1-5]。粗粒土的级配好坏直接决定工程质量，快速、高精度地进行粗粒土的级配检测具有极高的工程需求，对填方工程中的土料质量控制至关重要。然而现阶段级配检测主要采用筛分法^[6]，该方法耗时低效，无法满足级配的实时检测需求，制约了填方工程自动化的进一步发展。因此，开发一种速度快、精度高的级配识别方法对于填方工程质量控制具有重要意义。

近年来，基于图像的级配识别方法因实时无损、成本低廉的优点受到众多学者的关注。目前基于图像的级配识别方法主要有：①基于边缘检测的数字图像分析方法^[7-10]；②基于卷积神经网络的人工智能方法^[11-13]。方法①不需要构建庞大的数据集，实现过程具有很强的可解释性。然而由于复杂成像以及黏连颗粒的问题，该方法精度长时间以来难以进一步突破。方法②通过CNN模型自动提取图像特征，依靠数据驱动实现更高精度的级配识别，如Fan等^[11]基于改进的MASK R-CNN(mask region-based convolutional neural network)实现对堆石料中每个颗粒的分类与定位，接着通过外接多边形划分粒径范围，最后将面积占比换算为质量占比得到级配曲线。刘禹杉等^[12]将上述方法应用到土石坝料级配识别上，并提出了表层识别向空间转换的修正方法，改善了级配识别精度。Zhou等^[13]对U-Net进行了改进，将其应用于TBM碴片级配识别，即使在碴片与淤泥混合、碴片互相堆叠情况下，深度学习模型也能很好地工作。虽然上述研究充分证明了CNN模型在复杂条件下提取颗粒特征的优越性，但所用方法本质上是语义分割^[14]，需要在像素层面人为地标注所有堆料，这对于颗粒多、粒径小的粗粒土而言是不可能的。目前级配识别方法难以突破的主要原因在于：①没有充分利用机器学习算法强大的特征提取能力，提取每个颗粒位置与轮廓对级配识别是不必要的，反而会限制算法本身的潜力；②没有考虑“级配图像不确定性”，即土料二维表面的级配与三维堆料的级配并不相同。

为在基于图像的粗粒土级配快速检测问题上取得技术突破，本文首先研制了专门的土料级配图像收集装置，收集了共计877种级配、22380张图像的粗粒土级配图像数据集，从而为模型的构建提供了坚实的数据基础。针对“级配图像不确定性”，提出了任意数量图像输入的搜索-分析网络(searcher-analyzer network，SaNet)。本文构建的级配识别模型，无需繁琐的数字图像前处理过程，能以较高精度直接识别级配，对填方工程中的土料质量控制具有重要意义。

1.   粗粒土级配土料图像数据库的收集与建立

1.1   土料类型与图像拍摄装置

为构建多样性的粗粒土级配图像数据集，进而为深度学习模型的训练奠定数据基础，本文采用了两种具有明显差异的土料进行试验，一种是粒径介于0.3～6 mm的黄河粉土，另外一种是0.075～20 mm的石英砂，这两种土料在以往填方工程中得到了广泛应用，具有一定的代表性。其中黄河粉土在混合过程中易起尘，拍摄所得图像比较模糊(图1(a))；石英砂颗粒棱角分明，图像较为清晰(图1(b))。

图  1  拍摄粗粒土表面所获得的级配图像

Figure  1.  Gradation photos of coarse-grained soil surfaces

下载: 全尺寸图片 幻灯片

为更高效地实现数据收集，本文创新性地研制了一种粗粒土级配图像拍摄装置，该装置集土料容纳、混合、拍摄为一体，并通过连接电脑实现图像即时保存。

装置结构如图2所示。顶部为加料口(图2(a))，不同粒径的土料由此加入以配置不同的级配；装置正中心处为一空心桶，上部开口，下附挡板(图2(b))，通过转动装置外的手柄(图2(a))可控制该桶和挡板一同旋转，从而实现土料快速搅拌混合；装置右侧部分设置一个悬挑扁平钢板(图2(c))，钢板上绑有小型相机，镜头朝下，与相机相连的导线伸出并连接电脑以实现拍摄控制和图像保存(图2(d))；当外置手柄被转动时，挡板带动土料向上运动，同时空心桶开口由上向下变动以防止拍摄装置被土料击中。当挡板达到最高点时，土料全部落下，空心桶的开口朝下使得镜头曝光，此时进行拍摄。

图  2  一种粗粒土级配图像拍摄装置

Figure  2.  Photo-taking devices for gradation of coarse-grained soil

下载: 全尺寸图片 幻灯片

1.2   图像收集流程

将黄河粉土的颗粒划分为6个粒组，粒组的粒径范围分别是0.3～0.6，0.6～1.18，1.18～2.36，2.36～3.15，3.15～4.15，4.15～6 mm。石英砂同理，粒径范围分别是0.075～0.25，0.25～0.5，0.5～1，1～5，5～10，10～20 mm。

为提高数据收集效率，首先将黄河粉土、石英砂进行筛分，分别获得6个基础粒组的颗粒。然后按照设计级配，计算每个粒组所需的颗粒质量，人工配置给定级配的土料。以石英砂收集为例，具体流程包含以下步骤：

(1)配置初始级配。选用500 g的10～20 mm粒组的石英砂颗粒(级配A₀)，由加料口加入拍摄装置。

(2)缓慢转动手柄，旋转滚筒，使颗粒混合均匀，通过连接拍摄仪的电脑操纵拍摄，将所得图像保存。重复该过程30次，每种级配的土料拍摄30张图像(其中黄河粉土为混合20次，并针对每种级配的土料拍摄了20张图像)。

(3)在级配A₀的土料基础上，向该土料中添加新的颗粒(例如50 g的5～10 mm粒组的颗粒)，获得新的土料，其级配为A₁。

(4)重复过程(2)，(3)，直至50 g的土料无法引起级配显著变化，得到级配A₀，A₁，...，A_N。

(5)回收装置中的土料，将装置清理干净以防止影响下一级配的图像采集。

(6)配置下一个初始级配，重复过程(1)～(5)，直至完成所有级配的采集。

按照上述流程，最终收集到的具体级配曲线见图3。采用筛分的黄河粉土颗粒人工配置了393种不同级配的土料，其土体分类包括角砾、砾砂、粗砂，共3类(图3(a))。类似地，采用石英砂颗粒配置了484种不同级配的土料，其土体分类包括角砾、砾砂、粗砂、中砂、细砂，共5类(图3(b))。

图  3  数据库中黄河粉土、石英砂的全部级配

Figure  3.  All gradations of yellow river silt and quartz sand in database

下载: 全尺寸图片 幻灯片

1.3   数据集划分与图像预处理

在完成数据收集后，按照0.80∶0.15∶0.05的比例随机划分为训练集、验证集与测试集。黄河粉土共393个级配，划分后训练集、验证集、测试集分别包含314，60，19个级配；石英砂共484个级配，划分后训练集、验证集、测试集分别包含387，73，24个级配。

如图4所示，在相机拍摄所得原始图像中，装置占有较大比例，这部分对级配预测没有贡献，反而会使得计算资源消耗急剧增加，因此从图像中部截取1000×1000的子图用于后续的机器学习模型的输入。

图  4  裁剪子图以去除无用信息

Figure  4.  Cropping subgraph to remove unwanted information

下载: 全尺寸图片 幻灯片

由于与级配相关的土颗粒边缘特征与颜色信息相关性较低，可以将图像转化为灰度图以减少输入维度，提高识别效率。此外，为了防止模型过拟合，采用“数据增强”技术：将图像进行概率为50%的水平、竖向翻转，这相当于使数据增大到原来的4倍。最后，将图像由1000×1000缩放为224×224，这是现有成熟CNN模型中普遍采用的尺寸，与网络架构具有较好的匹配性。上述流程如图5所示，需要指出的是，数据增强只对训练集进行，因为只有这部分作用于模型参数更新。

图  5  图像预处理过程

Figure  5.  Image preprocessing

下载: 全尺寸图片 幻灯片

1.4   模型训练标签生成

在机器学习问题中，标签即模型预测的目标。级配预测的难点在于其自身的数学特征，具体而言：①级配曲线是增函数，且由0增加到1；②每一点的值代表累计筛余百分率，因此数值总小于1。这两个特征使得直接预测级配曲线存在巨大困难，因为一般神经网络的输出遍布整个实数轴。

在数据收集过程，记录的是与图像对应的级配$G$，受到“softmax”函数的启发(2.2节式(4))，模型预测的标签$O$按照式(1)计算，事实上，该变量即级配分布曲线。

式中：$1 \leqslant i \leqslant 6$且为整数；G₀恒等于0(即粒径小于0的累计筛余百分率)。

1.5   数据分享

本文建立的“BJTU Gradation Photos”数据库将通过以下链接提供给公众: https://github.com/Yuanen-Pang/BJTU-gradation-photos。关于数据库的详细信息可以在这个网站上找到。笔者鼓励研究人员使用该数据库，并希望该数据库的共享能将粗粒土级配识别模型的研究推向新的高度。

2.   考虑级配图像不确定性的级配识别模型

2.1   级配图像不确定性

如图6(a)，(b)所示，同一级配下的三幅图像由左到右堆料表面大颗粒含量逐渐增加，即相同的级配会拍摄到较大差异的表面图像，本文称之为“级配图像不确定性”。图像是二维的，理论上讲图像的标签应当是“表面级配”而不是整个堆料的级配，否则会导致CNN模型出现困惑。针对该问题，在下一节调整深度学习网络的架构，使其具有考虑“级配图像不确定性”的能力。

图  6  “级配图像不确定性”展示

Figure  6.  Presentation of "Uncertainty of gradation image"

下载: 全尺寸图片 幻灯片

2.2   SaNet网络架构与模型构建

受到注意力机制的启发^[15-16]，引入搜索分析网络(searcher-analyzer network，SaNet)来解决“级配图像不确定性”问题，其结构如图7所示。SaNet中有3个子网络：“搜索者”(Searcher)网络用于级配相关特征提取，“分析者(后部分)”(Analyzer_l)网络用于单张图像级配结果预测，“分析者(前部分)”(Analyzer_f)负责计算不同图像的权重。通过为不同图像的级配预测结果赋予权重，得到最终级配预测结果。

图  7  搜索-分析网络结构

Figure  7.  Architecture of SaNet

下载: 全尺寸图片 幻灯片

SaNet的计算过程如下：

(1)将同一级配下拍摄到的m张土料表面图像(已完成预处理)${X_1}$～${X_m}$输入Searcher网络，得到由每一张图像提取的级配相关特征${H_1}$～${H_m}$，如式(2)。

(2)将${X_1}$～${X_m}$输入Analyzer_f网络，得到未归一化权重$W'$，接着进行“softmax”操作得到归一化的权重$W$，如式(3)，(4)。

式中：${W_i}^\prime$为${W_{}}^\prime$向量的第i个元素；${W_i}$为$W$向量的第i个元素。

(3)将${X_1}$～${X_m}$输入Analyzer_l网络，得到每张图像的预测级配${Y'_1}$～${Y'_m}$(由于每个${Y'_i}$都表示向量，因此i标在外侧)，如式(5)。

(4)将$W$各元素与各个图像的$Y'$相乘再相加，得到最终级配预测结果，如式(6)。

Searcher网络可以是现有任何成熟的CNN主体结构，Analyzer_f、Analyzer_l则是任意的多层感知机^[17-18]。本文采用的具体结构如图8所示，搜索者采用ResNet^[19]，“(×n)”代表结构重复n次。

图  8  SaNet各部分网络架构

Figure  8.  Network architecture of each part of SaNet

下载: 全尺寸图片 幻灯片

2.3   SaNet模型训练方法

SaNet模型的训练分为两个阶段：第一个阶段单独训练ResNet网络，由单张图像识别级配，然后将其拆成SaNet的两个成分，Searcher网络和Analyzer_l网络；在第二个阶段，增加名为Analyzer_f的新网络，与前面两个网络合成SaNet模型，此阶段只对Analyzer_f中的参数进行更新。

为了保证SaNet的权重分配功能在各种输入数量下都能很好的发挥作用，引入两次随机操作实现输入图像数量与成分的不确定性。以图9所示黄河粉土取样为例进行说明，包含以下步骤：

图  9  SaNet网络训练方法

Figure  9.  Training method of SaNet

下载: 全尺寸图片 幻灯片

(1)根据设置的批量大小超参数B从训练集中随机取出B个级配及该级配下拍摄到的所有土料图像；

(2)产生介于1～20(上限等于单个级配拍摄的图像总数，石英砂为1～30)的随机整数m。

(3)根据步骤(1)的级配选择结果，从每个级配中随机抽取m张图像作为一个批量中的单个样本，将一个批量输入SaNet模型进行计算。

2.4   模型评价指标

采用平均绝对值误差(mean absolute error，MAE)、决定系数(coefficient of determination，R²)在测试集的平均值$\overline {{\text{MAE}}}$(下面简称平均误差)与$\overline {{R^2}}$进行模型评价，如式(7)～(10)所示。$\overline {{\text{MAE}}}$为非负数，越接近0代表级配识别精度越高。$\overline {{R^2}}$取值为0～1，越接近1精度越高。

式中：${O'_i}$为级配分布曲线预测值的第i个元素；${O_i}$为真实值的第i个元素；n为测试集样本数量。

式中：$\hat G$为级配曲线预测值；$G$为真实值；$\bar G$为$G$中元素的平均值。

3.   基于SaNet架构的级配识别模型应用效果

3.1   SaNet和ResNet级配识别精度对比

ResNet18、ResNet34与SaNet(输入所有图像)在黄河粉土、石英砂测试集上的应用效果如图10。对于黄河粉土：三者的$\overline {{\text{MAE}}}$(×10^-2)分别为2.16，2.07，1.63，$\overline {{R^2}}$分别为0.990，0.991，0.995。对于石英砂：$\overline {{\text{MAE}}}$(×10^-2)分别为1.85，2.36，1.21，$\overline {{R^2}}$分别为0.975，0.956，0.992。ResNet34的层数几乎是ResNet18的两倍，但级配识别精度在黄河粉土上略有提升，石英砂不升反降；相比之下，基于ResNet18构建的SaNet使得两种土样的级配识别精度都大幅提高。这说明制约模型精度进一步提升的因素并非网络复杂度不够，而是“级配图像不确定性”导致的“输入—输出”关系不合理，SaNet网络能够有效解决这一问题。

图  10  不同级配识别模型应用效果对比

Figure  10.  Comparison of application effects of different gradation recognition models

下载: 全尺寸图片 幻灯片

3.2   SaNet和P-ResNet级配识别精度对比

除了采用SaNet来降低土体表面图像级配信息的不确定性外，还可以通过对多张图像级配识别结果取平均来降低其不确定性，即将多张图像的ResNet级配识别结果取平均，作为最终的级配识别结果，称之为ResNet级配均值，记为P-ResNet。为进一步了解SaNet对精度的提升效果，将其与P-ResNet进行对比，结果如图11所示。

图  11  不同输入数量下SaNet与P-Resnet识别精度对比

Figure  11.  Comparison of recognition accuracy between SaNet and P-ResNet with different numbers of inputs

下载: 全尺寸图片 幻灯片

随着输入图像数量的增加，二者精度都逐渐提高；在输入数量为2的情况下，SaNet18与P-ResNet18精度差异不大；输入数量增加到3及以后，SaNet18在黄河粉土上的$\overline {{\text{MAE}}}$和$\overline {{R^2}}$明显优于P-ResNet18；在石英砂上的$\overline {{\text{MAE}}}$差别相对较小，但比较$\overline {{R^2}}$可以发现SaNet18依然优越，说明SaNet18的级配识别效果优于简单地取ResNet结果均值，这是由于SaNet为不同结果赋予的权重是根据输入计算得到的，而ResNet只是简单等权。

3.3   SaNet模型应用效果展示

从黄河粉土、石英砂测试集中各自随机抽取3个样本，比较ResNet18和SaNet18的级配识别效果，土料图像及识别结果如图12，13所示。图12中黄河粉土的级配较容易识别，两个模型都能很好的工作，但SaNet18精度略高。

图  12  黄河粉土随机样本级配累计曲线预测

Figure  12.  Predicted results of gradation curves of random Yellow River silt samples

下载: 全尺寸图片 幻灯片

图  13  石英砂随机样本级配曲线预测(SaNet)

Figure  13.  Predicted results of gradation curves of random quartz sand samples

下载: 全尺寸图片 幻灯片

图13中石英砂上ResNet18预测结果与真实级配有明显偏离，因为粒径范围更大，“级配图像不确定性”更加明显。相比之下，SaNet预测的级配曲线与真实值仍能很好的匹配。这表明SaNet模型对“级配图像不确定性”问题具有较强的处理能力，识别效果能够满足工程需求。

4.   级配识别可解释性的讨论

为探究CNN模型识别级配的机理，将图12中样本3输入ResNet18，从图8(a)中Block1～Block5输出的特征图中各自选择3张进行可视化，结果如图14所示。该样本的特点是：“较大粒径”的颗粒主要分布在图像上部、左下部及右下部，而“较小粒径”的颗粒主要分布在图像中部(图14(a))。需要说明的是，特征图中某一区域越亮，意味着该部分受到模型的关注越多，对于级配预测的贡献越大。为方便讨论，后文在对应Block后加“-x”代指图14(b)中不同列的特征图，比如“Block1-1”表示Block1中第一列的特征图。

图  14  随机选出某黄河粉土样本的特征图可视化(括号内为特征图边长)

Figure  14.  Visualization of feature maps from a randomly selected Yellow River silt sample (bracketed numbers indicate side lengths of feature maps)

下载: 全尺寸图片 幻灯片

由图14(b)可知，CNN识别级配是特征图功能分化的过程。具体而言：在Block1的每张特征图中，明亮区域遍布整张图像，这意味着单个特征图对于所有粒径的颗粒都进行关注；在Block3中，特征图出现明显的“空洞”，这表示特征图出现功能分化，单个特征图不再关注全部颗粒。比如，将特征图与14(a)中原图进行位置对应，发现Block3-1关注“较小粒径”区域，Block3-2关注“较大粒径”区域；在Block5中，单个特征图关注的区域进一步缩小，如Block5-1关注的只是“较小粒径”区域的一个子集，即“较小粒径”这一笼统的范围被进一步分割。

此外值得注意的是，同一个Block中的不同特征图呈现出功能互补的现象。具体而言，从Block2开始，第一列和第二列的特征图中明亮区域的重合度有明显降低。Block4-1和Block4-2尤其明显，两者几乎互为对方的补集。这意味着CNN将不同粒径的颗粒分配到不同的特征图中给予关注，而所有特征图所关注范围的并集仍能覆盖全部颗粒。

与轮廓识别法将颗粒一个个提取不同，CNN的做法是同时提取类似粒径的颗粒。比如在Block3-1、Block3-2中，明亮区域呈现出明显的连通性，只是模型对不同位置的关注程度不同。在轮廓识别法中，图像模糊、颗粒黏连会直接导致算法失效，尤其是第二个原因造成该方法难以用于粒径小于5 mm的颗粒划分。相比之下，CNN并不关注个别颗粒的轮廓，而是逐层堆叠卷积操作对类似粒径的颗粒进行同时提取，这可能是CNN在粗粒土上能够奏效的一个重要原因。需要强调的是，CNN目前在可解释性方面的进展仍十分不足，本文暂时无法对级配识别的详细机理给予解释。

石英砂的特征图可视化结果与黄河粉土具有相似的规律，限于篇幅原因，此处不再展开。需要指出的是：理论上低于1个像素的颗粒是无法识别的，因此能够识别的颗粒粒径和图像的分辨率有关。在输入图像尺寸为224×224的条件下，模型能够识别的粒径理论极限是0.246 mm，恰好能区分0.075～0.25 mm与0.25～0.5 mm这两个粒组。因此，由于受到图像像素的限制，本文方法不宜应用于细粒土。

5.   结论

针对填方工程中的土料级配快速实时识别需求，构建了包含两种颗粒类型、超过800种级配且总图像数超过2万张的粗粒土图像数据库。为解决二维图像与三维级配不匹配——即“级配图像不确定性”问题，构建了搜索-分析网络(SaNet)，主要得到以下3点结论。

(1)基于大量的土料表面图像，采用卷积神经网络进行粗粒土级配的识别是可行的，SaNet模型级配识别的平均误差在黄河粉土、石英砂分别为1.63%，1.21%，决定系数分别为0.995，0.992。

(2)在“级配图像不确定性”显著的情况下，基于ResNet18构建的SaNet识别精度明显优于ResNet34，简单增加网络深度反而会使得识别精度下降，采用SaNet进行级配识别是必要的。

(3)提出的SaNet网络能够有效解决“级配图像不确定性”，模型精度随相同级配土料下输入图像数量的增加稳定提升，降低的最大误差可达20%以上。