轻量级CNN在交通MEC中的应用

轻量级卷积神经网络在交通信息物理系统中的移动边缘计算应用

1 引言

近年来，我们见证了各种物理对象通过无线或有线方式连接形成物联网（IoT）。物联网实现了物理环境与计算平台之间的交互，从而构建了信息物理系统（CPS）[Wang 等人 2018]。在信息物理系统（CPS）的交互过程中，从海量物联网数据中学习是提取有价值信息以实现智能决策的关键步骤。机器学习和深度学习的最新进展为从海量物联网数据中提取有价值信息带来了机遇。然而，许多机器学习（尤其是深度学习）方法对计算设备有严格要求，而大多数物联网设备由于存储和计算限制难以满足这些要求。云计算的出现可以通过将计算任务卸载到远程云服务器来克服物联网设备的局限性[Wang 等人 2019]。

相关服务：德国站群服务器

尽管云计算在数据存储和计算能力方面具有优势，但无法满足日益增长的应用需求，如低延迟和上下文感知。近年来，作为云计算的补充，移动边缘计算（MEC）[Mao 等人 2017],通过将任务卸载到部署在基站（BSs）、接入点（APs）和网关等靠近用户的边缘服务器上，有望克服云计算的局限性 [Wang 等人 2017a，2017b]。以交通信息物理系统（ T‐CPS）或智能交通系统（ITS）中的交通标志识别为例。交通标志识别在T‐CPS的发展中起着重要作用 [Deka 等人 2018]。从移动设备发起的用户请求可以被重定向到最近的边缘服务器（安装在汽车上的设备），而无需从远程云服务器获取结果。这样，延迟可以大大降低，同时上下文感知能力也能得到提升。

1.1 面向交通信息物理系统的MEC‐云架构

图1展示了支持交通信息物理系统（T‐CPS）的MEC‐云架构。该架构包含与移动边缘计算部署相关的三个要素：（1）带移动边缘计算的路侧单元（RSU）。 在交通信息物理系统中，RSU是沿道路部署并与基站（BSs）或接入点（APs）共址的基础设施节点。在面向T‐CPS的 MEC‐云架构中，可在RSU部署移动边缘计算服务器，以支持车辆检测与追踪应用，并转发车辆发送的交通信息（如交通标志和交通信号灯）。（2）带移动边缘计算的便携式导航设备（PNDs）或车载单元（OBUs）。 PND是一种结合了定位功能（通过全球定位系统获取）和导航功能的便携式电子产品。OBU是安装在车辆上的设备。移动边缘计算服务器可部署于PND和OBU上，用于收集位置信息、路线结构和交通流数据，从而为驾驶员提供辅助支持。（3）带移动边缘计算的交通控制中心（TCC）。 TCC是为PND、OBU和RSU提供支持的系统。在通信过程中，信息通过TCC进行收集和传输。由于不受资源限制，TCC能够提供全面的支持，以做出最优决策，并将优化策略应用于交通信息物理系统。

在面向交通信息物理系统的MEC‐云架构中，移动边缘计算在为路侧单元、车辆（特别是 便携式导航设备和车载单元）以及交通控制中心提供低延迟和上下文感知服务方面发挥着关键作用。近年来多项研究探讨了交通信息物理系统中的移动边缘计算技术。例如，Yang 等人 [2017]和 Contreras‐Castillo 等人[2017]研究表明，移动边缘计算是支持车联网的有效技术。Kaiwartya 等人[2016]提出了基于云计算、连接和客户端的全面的车联网五层架构。云计算、 连接和客户端。Showering 的研究[2016]提出了一种基于移动计算设备的导航系统。

如今，越来越多的应用依赖于移动边缘计算技术，包括安全的物联网服务[Wu 等人 2019],传感器云计算系统中隐藏数据攻击的检测[Zhang 等人 2018],智慧城市系统中的资源管理[Wang 等人 2019]指出，当车辆连接到分布式边缘设备时，可以通过网络与其他车辆实时通信。因此，移动边缘计算是支持车联网的有效技术，因为移动边缘计算服务器可以部署在网络边缘的多种位置。Datta 等人[2017]提出了一种物联网架构，该架构考虑了边缘和云计算平台、智能手机以及高性能车载单元等额外使能因素，以支持交通信息物理系统。

1.2 交通信息物理系统中移动边缘计算的深度学习模型的局限性

然而，由于存储和计算限制，移动边缘计算服务器仍然无法处理深度学习算法等计算密集型任务。例如，深度卷积神经网络（CNN）模型作为最典型的深度学习方案之一，在学习海量图像数据的复杂且分层的特征方面表现出优势[Krizhevsky 等人 2012]。Cirean 等人的研究[2012]提出了一种多列深度神经网络（MCDNN）结构，在德国交通标志识别基准 （GTSRB）上的性能优于其他机器学习模型[Namor 等人 2011]。同时，其他深度CNN模型，如AlexNet[Krizhevsky 等人 2012], VGG[Simonyan 和 Zisserman 2014], GoogLeNet[Szegedy 等人2015],以及ResNet[He 等人 2016]也在图像分类中展现出卓越性能。然而，深度CNN模型通常包含多层且具有大量参数，因此CNN模型通常具有较大的模型大小。此外，它们还需要使用强大的处理设备（例如图形处理单元）来训练模型。另外，CNN模型的大规模也导致在分布式CNN模型训练过程中产生巨大的通信开销[Iandola 等人 2016]。因此，这些缺点阻碍了CNN模型在交通信息物理系统中的移动和便携设备（如 RSUs、PNDs或OBUs）上的广泛应用。

1.3 贡献

在本文中，我们设计并开发了一种轻量级CNN模型，以支持交通信息物理系统（T‐CPS）中的 移动边缘计算（MEC）应用。该模型具有诸多优势，包括相较于传统CNN模型更小的模型大小， 同时在交通标志和车辆分类任务中保持高精度。本文的主要研究贡献总结如下：

—我们提出了一种堆叠式卷积结构，由交替的分解卷积层和压缩层组成。具体而言， 因式分解卷积将传统卷积分解为深度可分离卷积和逐点卷积，从而减少了不必要的参数数量。此外，我们在压缩层中采用级联修正线性单元（CReLU），进一步提升了激活函数的效率并减少了冗余参数。我们将所提出的模型命名为轻量级CNN‐FC。

—我们在真实数据集上进行了广泛的实验，包括GTSRB数据集以及一个车辆数据集 （即VCifar‐100）。我们将所提出的轻量级CNN‐FC模型与其他具有代表性的CNN模型进行了对比评估，这些模型包括MCDNN[Cirean等 2012]模型、VGG‐16[Simonyan和Zisserman 2014],以及AlexNet[Krizhevsky等 2012]。我们的模型在分类准确率更高和模型大小更小方面优于传统模型。例如，我们的模型大小为4.9 MB， 而VGG‐16为118.8 MB，同时保持了高精度（即在GTSRB数据集中准确率超过98.9%）。

—我们还在实际的MEC平台上评估了所提出的轻量级模型的性能。具体而言，该 MEC平台配备了英伟达发布的Jetson TX2芯片组，这是一种支持轻量化深度学习方案的低功耗嵌入式系统。实验结果还表明，我们的模型在移动MEC平台上能够获得高精度。

本文其余部分组织如下：第2节介绍本文的相关工作。第3节介绍我们的模型结构。第4–6节给出了我们模型中使用的主要方法的详细信息。实验结果在第7节中展示。我们在第8节中总结并讨论未来工作。

2 相关工作

我们将相关研究分为两类：（1）交通信息物理系统中的交通标志识别与车辆识别，以及（2） 轻量化方法。

2.1 交通信息物理系统中的交通标志识别与车辆识别

如今，越来越多的T‐CPS应用被应用于实际交通环境中。特别是，T‐CPS应用主要关注交通标志识别，能够检测交通标志的目标[Luo等 2017]。传统的交通标志识别方法主要基于各种机器学习算法，包括使用局部图像排列区间描述符（LIPID）的支持向量机（SVM）分类器[Tian 等 2014]和稀疏表示方法[Lu等2012]。Hoferlin和Zimmermann[2009]以及Nguwi和 Kouzani[2008]的研究表明，多层感知机（MLP）在识别限速标志上的字符时具有高精度，并能实现较低的误报率，如Bargeton等[2008]所述。Sochor等[2016]提出了一种方案，即卷积神经网络（CNN）可通过从视频数据中提取输入数据集的3D信息来提升细粒度车辆识别性能。在 Zhang等[2017],中提出了一种基于移动边缘计算（MEC）的模型

图2. 轻量级CNN‐FC模型由分解卷积层和压缩层组成。

在车载网络中开发了计算卸载过程，以在移动环境中保持服务连续性。

最近，卷积神经网络（CNN）方法在各种计算机视觉（CV）应用中表现出色，例如交通标志识别。Cirean 等人的工作 [2012]描述了多列深度神经网络（MCDNN）结构，并在 GTSRB 数据集中实现了交通标志的分类实验。MCDNN 由多标准卷积神经网络架构组成，能够收集并整合每个 CNN 的结果。Sermanet 和 LeCun [2011]指出，局部和全局特征可用于交通标志识别，从而提升性能。近年来卷积神经网络的进展进一步推动了计算机视觉和交通信息物理系统（T‐CPS）应用的发展。例如，提出了更深（更多层）的卷积神经网络模型，包括具有 8 层的 AlexNet [Krizhevsky 等人 2012]、具有 19 层的 VGG [Simonyan 和 Zisserman 2014]以及具有 22 层的 GoogLeNet [Szegedy 等人 2015]。更深的卷积神经网络模型相比更浅的模型能够实现更高的准确率 [Simonyan 和 Zisserman 2014]。

然而，深度卷积神经网络模型也带来了一系列挑战，尤其是在物联网节点和MEC设备上的移动应用。由于存储和计算限制，移动设备无法承担深度CNN模型的密集计算任务和庞大的模型尺寸。因此，有必要设计便携式深度学习模型以支持T‐CPS应用。

2.2 轻量化方法

为了在卷积神经网络中减少参数的同时保持准确率，一种常见的方法是对现有的卷积神经网络模型进行结构简化。一种直接的方法是采用Denton等人提出的方法，对预训练卷积神经网络模型应用奇异值分解（SVD）。[2014]同时，网络剪枝[Han等人2015年]被提出，通过阈值将参数替换为零，从而形成稀疏矩阵。最近，Han等人[2015a]提出了一种称为深度压缩的方法，结合了网络剪枝、量化（至8位或更少）和霍夫曼编码。此外，二值连接[Courbariaux等人 2015],二值网络[Courbariaux和Bengio2016],以及XNOR网络[Rastegari等人 2016]在量化卷积神经网络方面表现出色。此外，最近的研究通过使用更简单的滤波器加速了卷积神经网络，例如MobileNet[Howard等人 2017]和SqueezeNet[Iandola等人 2016]。MobileNet结构使用逐层可分离卷积构建轻量级深度神经网络。此外，MobileNet可有效应用于多种场景，如目标检测、人脸属性提取和大规模地理定位。SqueezeNet是一种小型卷积神经网络架构，能够达到与AlexNet相当的准确率水平。SqueezeNet通过用 3 × 3卷积替代 1 × 1传统卷积神经网络中的卷积，使神经网络的参数减少约50倍。

3 架构概述

在本文中，我们提出了一种轻量级CNN‐FC模型，该模型由两个主要组件组成：（1）分解卷积层和（2）压缩层。图2展示了该模型的结构布局，其中多个分解卷积层与压缩层交替排列形成堆叠结构。然后我们简要描述轻量级CNN‐FC模型的工作流程。

(1)图像预处理。 最近的研究 Buda 等人 [2018]表明，输入数据集中的类别不平衡问题对CNN模型有害。同时，交通标志数据集（如GTSRB数据集）通常包含模糊、扭曲和有瑕疵的图像，从而影响CNN模型的性能。因此，我们采用数据过采样和数据增强方法 [Chawla 2009]来解决类别不平衡问题和噪声数据。

(2) 标准卷积。我们选择一种标准卷积结构来处理交通标志图像。该标准卷积结构由多个卷积层、池化层和一个全连接层组成。卷积输入为一个m × m × r的图像，其中m表示图像的高度（同时也是宽度），r表示通道数（例如，在RGB模型中r= 3，因为有红、绿、蓝三个通道）。同时，我们在卷积层中选择b个滤波器，每个滤波器的大小为 n × n × q，其中n通常小于输入图像的维度，而q等于通道数。

(3)分解卷积层。 它是我们在轻量级CNN‐FC模型中的关键组件。在该层中，传统的卷积被分解为深度可分离卷积（depthwise convolution）和逐点卷积（pointwise convolution）。此外，我们还优化了卷积步长以降低计算成本。分解卷积层的数量用 α表示。有关此结构的详细信息将在第 5节中给出。

(4)压缩层。 我们在轻量级CNN‐FC模型中的另一个关键组件是压缩层。我们采用 Shang等人提出的串联修正线性单元（CReLU）[2016]来设计一种压缩卷积滤波器，该滤波器可以显著减少未使用参数的数量。有关此结构的详细信息将在第6节中介绍。

(5)全连接层。 接下来我们采用一个由多个神经元组成的全连接层，以提取交通标志的主要特征。其计算过程与标准卷积层类似。特别地，我们将神经元数量记为 β，在我们的实验中该值是可调的。（6） 优化器。 损失函数在卷积神经网络模型的预测精度中起着至关重要的作用。本文中，我们也采用了不同的优化器来研究它们对损失函数的影响。在此实验中，我们选择了四种优化器来评估其性能。所选的优化器包括随机梯度下降（SGD）、Adagrad、RMSprop和Adam。我们在第 7.3.4节中展示了不同优化器的性能比较。（7） 在MEC平台上的评估。 最后，我们还将所提出的轻量级模型部署到移动设备上以支持移动边缘计算（MEC）。具体而言，我们采用英伟达（ NVIDIA）发布的Jetson TX2进行实验。大量实验表明，我们所提出的轻量级模型能够在保持便携式模型大小的同时，为交通信息物理系统（T‐CPS）应用提供高预测精度的实用解决方案。

4 图像预处理

首先，我们需要对大规模的交通标志和车辆数据集进行图像预处理。通常情况下，原始数据集存在类别不平衡问题[Buda 等人 2018],因为在实验或生产过程中原始数据往往是未经处理且粗糙的。该问题是由于某一类中的标签数量远大于另一类所致。例如，

图3。过采样的效果。原始数据和过采样数据分别用蓝色和橙色表示。例如，第4类的样本数量在过 采样前为412，过采样后变为1,020，从而平衡了每个类别的样本数量。

不可治愈疾病标签的数量远小于普通疾病标签的数量。因此，与普通疾病组相比，不可治愈疾病组的学习模型会出现欠拟合 [Wang 等人 2014]。因此，可以确认类别不平衡问题在分类任务中造成了严重损害。这将导致训练阶段收敛缓慢，同时削弱测试集上的泛化能力。

为了解决这一问题，广泛使用的方法是过采样 [Jo 和 Japkowicz 2004]。

在本节中，我们通过采用过采样结合数据增强的方法来解决类别不平衡问题。具体而言，过采样直接优化每个类别的样本数量，使类别分布趋于平均。该方法能够有效解决数据集的类别不平衡问题。图3展示了GTSRB数据集中各类别在过采样前（蓝色）和过采样后（橙色）的样本数量。从图3可以看出，经过过采样后，每个类别的样本数量变得均衡。

值得一提的是，数据增强在图像预处理中对于解决类别不平衡问题至关重要。特别是针对某些特定类别，这些类别的样本数量远少于正常类别。然而，仅仅简单地重复类别数量会导致过拟合[Chawla 等人2002]。为了避免过拟合，我们在过采样时采用数据增强。数据增强是一种有效的方法，因为它可以获得具有不同效果的大量图像。在数据增强中，我们采用了以下四种不同的数据增强方法：

(1)颜色增强。 颜色增强包括调整颜色饱和度、亮度和对比度；(2) PCA抖动 [Krizhevsky 等人 2012]。可通过计算RGB通道的均值和标准差获得特征值和特征向量； (3) 高斯增强。 图像通过添加高斯噪声进行处理；(4) 旋转增强 [Szegedy 等人 2015]。图像在指定角度范围内旋转（选择0到10度之间）。

图 4。从左到右：原始图像；颜色增强处理；PCA 抖动处理；高斯增强处理；旋转增强处理。

因此，我们在过采样和数据增强后扩展了GTSRB数据集的样本数量。同时，扩展后的数据集中每张图像的主要特征仍然得到了良好保留。因此，扩展后的数据集有利于我们的模型（将在第7节中说明）。

5 因式分解卷积

在本节中，我们描述分解卷积层的结构。分解卷积层能够有效降低计算成本，从而减少 MEC设备对计算资源的消耗。图5展示了因式分解卷积层的工作流程。与标准卷积层不同，分解卷积层被分解为深度可分离卷积和逐点卷积。深度可分离卷积本质上将标准卷积分解为M个深度可分离卷积滤波器，每个滤波器的大小为DK · DK。逐点卷积通过N个逐点卷积滤波器将深度可分离卷积的两个输出进行组合，每个滤波器的大小为 1 × 1。

5.1 计算成本

接下来，我们计算因式分解卷积的计算成本，并评估其相对于标准卷积操作的成本降低情况。深度可分离卷积和逐点卷积的计算代价分别表示为Cdc和Cp c。参照MobileNets [Howard et al. 2017],中的类似步骤，我们得到Cdc如下公式：

$$ C_{dc} = D_K \cdot D_K \cdot M \cdot D_F \cdot D_F, \quad (1) $$

其中$D_K \cdot D_K$表示卷积核大小，输出特征图大小为$D_F \cdot D_F$，M是输入通道的数量。

同时，逐点卷积的计算代价通过以下方式计算

$$ C_{pc} = M \cdot N \cdot D_F \cdot D_F, \quad (2) $$

其中N是输出通道的数量。

我们用Cf表示分解卷积操作的总成本，它由两个部分Cdc和Cp c组成。换句话说，我们有

$$ C_f = C_{dc} + C_{pc} = D_K \cdot D_K \cdot M \cdot D_F \cdot D_F + M \cdot N \cdot D_F \cdot D_F. \quad (3) $$

5.2 成本降低

相比之下，我们将标准卷积操作的计算成本表示为Cstd，可通过以下公式计算：

$$ C_{std} = D_K \cdot D_K \cdot M \cdot N \cdot D_F \cdot D_F. \quad (4) $$

与标准卷积操作相比，分解卷积操作可以显著节省计算成本。特别是，我们用成本降低增益来表示

图5. 分解卷积布局。

通过Gr将分解卷积操作转换为标准卷积操作，其由以下公式给出：

$$ G_r = \frac{C_f}{C_{std}} = \frac{(D_K \cdot D_K \cdot M \cdot D_F \cdot D_F + M \cdot N \cdot D_F \cdot D_F)}{(D_K \cdot D_K \cdot M \cdot N \cdot D_F \cdot D_F)} = \frac{1}{N} + \frac{1}{D^2_K}. \quad (5) $$

如公式(5)所示，成本降低增益仅取决于输出通道数量和卷积核大小，而与输入大小无关。

6 压缩层

在我们的轻量级CNN‐FC模型中，我们也构建了压缩层以减小模型大小。因此，该模型可以安装在MEC设备等小型存储平台上。在该层中，需要使用非线性激活函数来表示和映射卷积操作后的特征。与传统的激活函数如Sigmoid和Tanh相比，修正线性单元(ReLU)能有效缓解梯度消失问题[Krizhevsky 等人 2012]。ReLU定义为：

$$ y = \begin{cases}
x & \text{if } x \geq 0, \
0 & \text{if } x < 0,
\end{cases} \quad (6) $$

其中x表示输入值，y表示激活函数的输出。当x ≤ 0时，y= 0；否则，y= x。使用 ReLU激活函数可以更快地收敛网络。由于ReLU仍未饱和，因此能够缓解梯度消失问题。此外，通过简单的阈值化操作，ReLU的计算效率较高。

然而，Shang等人的最新研究表明，像AlexNet这样采用ReLU作为激活函数的复杂 CNN模型可能存在冗余滤波器，从而导致额外且不必要的计算成本。串联 ReLU(CReLU)激活函数通过一种简单而有效的改进，能够克服ReLU的缺点。

图6. CReLU 的概念。

还可以帮助减少冗余滤波器。具体来说，我们可以通过使用CReLU压缩层将滤波器数量减半来压缩卷积神经网络模型。

接下来我们分析CReLU与ReLU之间的关系。用x表示一个信号。x上的非负操作可以表示为

$$ [x]_+ = \max(x, 0), \quad (7) $$

其中 $[x] +$ 表示 x 的非负值。例如，如果x= 3，则 $[x= 3] + = \max(3, 0) =3$。如果 x= −3， 则 $[x= −3] + = \max(−3, 0) = 0$。项 $[x] +$ 本质上表示 ReLU 激活函数，即 ReLU =$[x]_+$。

激活函数 CReLU(x) 定义如下方程：

$$ CReLU(x) = ([x] +, [-x] +). \quad (8) $$

结合公式（7）和公式（8），以下公式可以表示CReLU与ReLU之间的关系：

$$ CReLU(x) = [\text{ReLU}(x), \text{ReLU}(-x)]. \quad (9) $$

7 实验

在本节中，我们进行实验以评估所提出的轻量级CNN‐FC模型的性能。我们首先在第7.1节描述实验设置。然后，在第7.3节中，通过与传统CNN模型进行比较，评估所提出的轻量级CNN‐FC模型的性能。此外，在第7.3节中，我们还评估了参数对所提出的轻量级CNN‐FC模型性能的影响。

7.1 实验设置

7.1.1 实验环境

我们在两个平台上进行实验：个人计算机和MEC平台（即Jetson TX2模块）。表1给出了个人计算机和MEC平台的详细配置。我们实验中的软件框架是运行在Ubuntu 16.04上的Keras 2.0（即以TensorFlow为后端）；该设置在个人计算机和Jetson TX2模块上相同。

值得一提的是，Jetson TX2 模块主要针对具有小尺寸和低功耗的移动边缘计算而设计。图7给出了 Jetson TX2 模块的说明。特别是，此嵌入式平台配备了一个集成的256核英伟达Pascal GPU、一个六核ARMv8 CPU和8 GB LPDDR4内存。

7.1.2 数据集描述

我们在两个主要用于交通信息物理系统应用的数据集上进行实验。第一个数据集是GTSRB数据集，该数据集已被广泛用于评估交通标志识别中的分类算法。GTSRB数据集包含超过5万张交通标志图像，这些图像被分为40类。我们选取了三个主要类别：限速标志、方向标志和注意标志。图8展示了每个数据集中的一些选放示例。此外，我们还需要解决类别不平衡问题，因为每个类别中的交通标志图像数量存在显著差异。因此，我们首先通过前述的过采样和数据增强方法对数据集进行预处理。为了简化讨论，我们将包含限速标志的数据集命名为GTSRB‐1，将包含方向标志的数据集命名为GTSRB‐2，将包含注意标志的数据集命名为GTSRB‐3，以及包含所有交通标志的三个类别作为GTSRB‐T（GTSRB 总计）。经过过采样与增强后，每个类别中交通标志的确切数量如图8所示。我们可以观察到，类别不平衡问题已得到解决，因为每个类别中的交通标志数量变得均衡。

此外，我们还通过从 Cifar‐100 数据集（一个包含 100 个类别的成熟物体识别数据集，每个类别有由 Krizhevsky 收集的 600 张图像）中提取车辆图像，构建了一个包含车辆图像的车辆数据集。[2009]我们将该数据集命名为 VCifar‐100 数据集，其中包含五个类别：自行车、公共汽车、摩托车、皮卡和火车。此外，VCifar‐100 数据集不存在类别不平衡问题，因为每个类别的样本数量相同（即 500）。图 9展示了从 VCifar‐100 数据集的每个类别中选取的一些示例。

7.1.3 对比算法

我们评估了所提出的轻量级CNN‐FC模型与其他传统CNN模型的性能，如下所述：

• MCDNN [Cirean 等人 2012]是一种用于 GTSRB 数据集的多层CNN模型，在德国交通标志识别基准测试的最终阶段表现出色（2011年准确率甚至比人类识别更高）。该模型由 6 层组成（即 2 个卷积层、2 个池化层和 2 个全连接层）。
• AlexNet 由 Krizhevsky 等人提出并开发 [2012]。它由 8 层组成：5 个卷积层和 3 个全连接层。激活函数为 ReLU。
• VGG-16 由 Simonyan 和 Zisserman 提出并开发 [2014]。该模型显著增加了卷积神经网络架构的层数，达到 16 层（19 层版本称为 VGG‐19）。它包含 13 个卷积层和 3 个全连接层。
• Factorization-Net 是一种具有单一分解卷积层的卷积神经网络模型。它可以被视为我们提出的无压缩层的轻量级CNN‐FC模型的一种特殊情况。

7.1.4 性能指标

我们通过考虑两个性能指标进行实验：分类准确率和模型大小。具体而言，分类准确率定义为正确分类的数量与总分类数量的比值。为了评估模型大小，我们主要考虑训练模型的参数数量以及训练模型的文件大小（以兆字节为单位）。

7.2 实验结果

表2展示了我们提出的轻量级CNN‐FC模型与其他传统CNN模型的性能对比。值得注意的是，实验在五个数据集上进行：GTSRB‐1、GTSRB‐2、GTSRB‐3、GTSRB‐T 和 VCifar‐100。在实验中，我们选择分解卷积层的数量为 α= 4，全连接层中的神经元数量为 β= 256。分解网络（Factorization‐Net）的分解卷积层数量与我们的模型相同。

准确率 。如表2所示，轻量级CNN‐FC模型在所有五个数据集（GTSRB‐1、GTSRB‐2、GTSRB‐3、GTSRB‐T 和 VCifar‐100）上的表现均优于其他现有模型。例如，轻量级CNN‐FC模型在 GTSRB‐T 上的准确率达到98.96%，在所有模型中最高，尽管 MCDNN 和 VGG‐16 的准确率已接近我们的模型。此外，我们在移动MEC设备（Jetson TX2）上运行了轻量级CNN‐FC模型，并获得了其在 GTSRB‐T 上的准确率；在 TX2 上的准确率为98.15%，非常接近PC平台的结果。我们可以观察到，尽管PC平台的计算能力优于MEC设备（见表1），但我们的模型在不同数据集上于MEC设备的准确率与PC平台相近。因此，经过分解和压缩过程后，我们的轻量级结构是可行的。所提出的轻量级CNN‐FC模型的性能提升可能归因于其优良特性，例如减少了不必要的冗余参数。

模型大小 。模型大小是评估卷积神经网络模型在移动边缘计算部署中可移植性的重要参数。一方面，当模型大小足够小时，可以轻松地将其加载到移动边缘计算设备上。另一方面，便携式的卷积神经网络模型也有利于在交通信息物理系统中进行分布式训练。表2还给出了所提出的轻量级CNN‐FC模型与其他传统模型在模型大小方面的对比。从表2可以看出，轻量级CNN‐FC模型的模型大小明显小于其他模型。例如，轻量级CNN‐FC模型的文件大小为4.9 MB，包含602,475个参数，大约比AlexNet小6.2×倍，比VGG‐16小24.25×倍，同时具有较高的分类准确率。轻量级CNN‐FC模型甚至比浅层结构MCDNN的模型大小还要小4.02×倍。综上所述，在分析了准确率和模型大小之后，我们的轻量级‐FC模型更适合部署在 MEC设备上。

7.3 参数的影响

然后我们研究了各种参数对轻量级CNN‐FC模型性能的影响。

7.3.1 因式分解卷积的影响

在卷积神经网络中，计算成本是反映算法效率的一个重要因素。我们首先评估所提出的轻量级CNN‐FC模型的因式分解卷积相对于标准卷积的计算成本。具体而言，因式分解卷积和标准卷积的计算成本可分别通过第3节中的公式(4)计算得到。具体地，我们设置参数DK= 3、M= 32、N= 32、DF= 16。表3总结了因式分解卷积和标准卷积的计算成本。

如表3所示，分解卷积的计算成本远小于标准卷积（即分解卷积实现了 7×的成本降低）。因此，采用分解卷积的训练模型的模型大小也可以大幅减小。以表2为例，仅使用分解卷积的模型（即分解网络）的模型大小为6.1兆字节，远小于采用标准卷积的MCDNN。同时，因式分解卷积并未显著影响分类准确率。图10展示了所提出的仅包含分解层的轻量级CNN‐FC模型（即分解网络）的准确率和损失值。如图10所示，该模型的准确率和损失值在10次迭代后均趋于收敛。此外，训练集的准确率为97.71%，略低于MCDNN模型的准确率（即98.50%）。接下来我们将展示，通过结合压缩层可以实现更高的准确率。

7.3.2 压缩层的影响

接下来，我们评估所提出的轻量级CNN‐FC模型中压缩层的影响。我们添加了具有CReLU激活函数的压缩层。如表2所示，引入压缩层减小了模型大小。例如，轻量级CNN‐FC模型的模型大小为4.9 MB，小于分解网络（大小为6.1 MB）的模型大小。

然而，压缩层可以进一步提高分类准确率。图11显示了添加压缩层后的准确率和损失值。与仅包含分解层的模型（如图10所示）相比，添加压缩层可以进一步提高分类准确率。

7.3.3 分解卷积层数量的影响

接下来，我们研究分解卷积层数量对性能的影响。我们将分解卷积层的数量从1变化到4（用 α表示分解卷积层的数量）。值得注意的是，我们还需要在分解卷积层之间添加压缩层（如图2所示）。实验也仅在GTSRB‐T和VCifar‐100数据集上进行。

表4列出了实验结果。从表4可以看出，增加分解卷积层数量会提升分类准确率，同时模型大小也会增加。需要注意的是，模型大小的增加非常微小（例如，当 α从2增加到4时，大小从3.5兆字节增加到4.9 MB）。这一结果表明，所提出的卷积神经网络具有很高的可移植性，可用于移动应用。

7.3.4 优化器的影响

在我们的轻量级结构中，合适的优化器可以提升模型训练和参数更新期间的性能。为不失一般性，我们的轻量级卷积模型采用单一分解卷积层（即 α= 1）和压缩层。随后，我们采用四种优化器来评估性能：Adagrad、Adam、RMSprop 和随机梯度下降。

• Adagrad [Duchi et al. 2011]。Adagrad 是一种基于梯度的优化算法，适用于处理稀疏数据。在我们的实验中，我们采用学习率作为 Adagrad 优化器的参数。图12（a）和（b）分别显示了 Adagrad 的准确率和损失。实验结果表明，损失的收敛速度非常慢（见图12（b））。例如，当准确率为88.71%时，损失仍保持在0.3328。因此，Adagrad 可能不是我们模型中合适的优化器。
• Adam [Kingma和Ba 2014]。自适应矩估计（Adam）是一种为每个参数计算自适应学习率的优化方法。在第二组实验中，我们评估了Adam对轻量级CNN‐FC的影响。图12（c）和（d）显示了Adam的准确率和损失。我们可以发现，Adam仍然导致较慢的收敛（例如，当训练集的准确率为87.73%时，训练集的损失为0.3610）。
• RMSprop [Tieleman和Hinton 2012]。RMSprop是由杰弗里·辛顿提出的一种自适应学习率方法。它主要有助于解决Adagrad优化器学习率急剧下降的问题。图12（e）和（f）显示，在训练阶段，准确率和损失波动剧烈。此外，模型在10个训练周期后仍无法收敛。
• SGD [Bottou 2010]。SGD是一种高效的优化器，因为它可以通过逐次更新来消除大规模数据集上的计算冗余。图12（g）和（h）显示了SGD优化器的准确率和损失。从结果中我们可以观察到，SGD能够在10个训练周期后有效实现收敛。

表5还比较了四种优化器的模型大小、准确率和参数数量。与Adagrad、RMSprop和Adam相比，我们可以从表5中得出结论：在我们的轻量级CNN‐FC模型中，SGD是最佳优化器，因为SGD能够实现最高准确率（即95.08%）和最小模型大小（即3.38 MB）。

)

7.3.5 全连接层神经元数量的影响

我们还研究了全连接层中神经元数量的影响。类似地，我们仅在GTSRB‐T数据集和VCifar‐100上进行实验。具体而言，我们用 β表示全连接层中的神经元数量。我们将 β的值从64到256进行变化。同时，当其他参数固定时，我们还将轻量级CNN‐FC与其他传统模型进行比较。

如表6和表7所示，当全连接层的神经元数量从64到256变化时，所提出的轻量级CNN‐FC在最高准确率方面优于其他传统模型。此外，当 β= 256时，达到最高准确率。

8 结论

本文提出了一种用于交通信息物理系统（T‐CPS）中移动边缘计算（MEC）的轻量级卷积神经网络。具体而言，该模型包含一种堆叠结构，其中多个分解卷积层与压缩层交替排列。我们的模型具有诸多优点，包括在保持高分类准确率的同时模型大小较小。例如，所提出的具有四个分解卷积层的轻量级CNN‐FC模型的模型大小为4.9 MB，远小于其他传统CNN模型。同时，所提模型的准确率也优于其他模型。这主要归功于对卷积层和压缩层的优化设计，从而去除了冗余参数。最后，我们还在一个实际的MEC平台上通过实验评估了所提出的轻量级CNN‐FC模型的性能。