基于FPGA的卷积神经网络和视觉Transformer通用加速器

在过去的10年中，卷积神经网络(Convolutional Neural Network, CNN)在计算机视觉领域取得了巨大成功，如VGG[1], ResNet[2]和GoogleLeNet[3]。由于最近几年Transformer在自然语言处理领域取得了突破性的成果，基于注意力机制的Transformer[4]也成为计算机视觉领域研究热点。越来越多的视觉Transformer和CNN-Transformer混合模型被提出[5-7]，如用注意力机制代替卷积的视觉转换器(Vision Transformer, ViT)[8]，或者将卷积与注意力机制相结合的检测转换器(DEtection TRansformer, DETR)[5]。这些模型在各类计算机视觉任务中均取得了出色的成绩。 

随着基于注意力机制的Transformer模型规模逐渐增大，计算量也变得越来越大，如ViT-H/14的参数量为632 MB[8]，之后发布的ViT-G/14参数量和计算量分别增长到1843 MB和2859.9 GFLOPs[7]。由于Transformer中的注意力机制涉及多个大型矩阵乘法和数据交互，因此在硬件平台上部署Transformer需要高额的计算和存储开销。现有的基于现场可编程逻辑门阵列(Field Programmable Gate Array, FPGA)的视觉Transformer加速器试图从两个方面克服这个问题，包括数据流优化和模型优化。文献[9]将ViT的注意力模块和多层感知机(Multi-Layer Perceptron, MLP)模块分别与层归一化函数进行组合，划分为两部分在FPGA上进行映射，通过平衡每个模块的吞吐量，减少了残差机制带来的路径依赖影响，整个加速器使用全流水线设计。文献[10]使用3个单独的计算阵列并行计算注意力机制中的Qurey(Q𝑄), Key(K𝐾)和Value(V𝑉)，除此之外的矩阵乘法操作与多层感知器时分复用其他计算阵列。文献[11]采用定点和指数两种方式对视觉Transformer进行混合精度量化，通过对FPGA的计算资源总数和目标帧率(Frames Per Second, FPS)建模，训练得到定点量化和指数量化的占比。 

然而，这些FPGA加速器不能充分适用于CNN，例如文献[9]采用定制全流水设计，文献[10]为不同的操作分配不同的计算资源，CNN则有着更多的权重共享机制，FPGA加速器通常使用迭代式设计来复用计算资源，而且针对CNN和Transformer的FPGA加速器之间有着不同的并行计算和访存策略。吴瑞东等人[12]面向极致边缘计算场景，提出一种不依赖片外存储的多核FPGA加速器，片上存储采用紧密耦合内存层次结构设计，使用层内映射和层内融合优化方法来减小存储资源消耗。文献[13]则通过为使用残差机制的CNN的Shortcut数据分配可重用的静态存储，最大化复用读入片上的数据，降低片外访存量。因此，可以看出两种神经网络的FPGA加速器设计思路存在差异性，使用某一种专用加速器将不可避免地降低另一方的计算效率，给面向计算机视觉多样化应用的云数据中心加速器部署带来了挑战。 

为解决上述问题，本文基于FPGA提出了一种CNN和视觉Transformer通用加速器。本文的主要研究工作及贡献如下：(1)根据注意力机制和卷积的计算特征，面向FPGA提出一种通用的计算映射方法，对计算阵列进行设计空间探索；(2)提出一种支持Softmax、高斯误差线性单元(Gaussian Error Linear Unit, GELU)和层归一化的硬件加速单元，通过指令配置复用计算和存储资源，在同等面积条件下实现了更高的处理效率；(3)在Xilinx XCVU37P FPGA上对加速器进行了综合实现，同时支持CNN和视觉Transformer两类神经网络加速。在ImageNet数据集上的实验结果表明，所提出的非线性与归一化加速单元在提高吞吐量的同时仅造成很小的精度损失。ResNet-50和ViT-B/16在所提FPGA加速器上的吞吐量分别达到了589.94 GOPS和564.76 GOPS，能效比远高于GPU实现和其他基于FPGA的大规模加速器设计，且计算效率高于对比FPGA加速器。 

卷积是传统CNN最核心的组成部件，同时也是CNN模型中计算量最大的操作，卷积计算过程如图1所示。卷积使用卷积核在输入特征图的2维空间上滑动计算每个像素点及其相邻像素点与卷积核的点积，最终得到一张输出特征图。图1中的C_in和C_out分别表示卷积操作的输入通道数和输出通道数。𝐾表示卷积核大小。H_in和W_in表示输入特征图的高度和宽度。H_out和W_out表示输出特征图的高度和宽度。 

注意力机制最关键的部分是自注意力操作，自注意力计算流程如图2(a)所示。𝑋_in是自注意力操作的输入，分别与权重𝑊 , 𝑊 和𝑊 作线性矩阵乘法得到𝑄, 𝐾和𝑉。为避免Softmax函数的输入绝对值过大，导致函数的梯度过小进而影响到梯度下降。将𝑄除以dk−−√𝑑𝑘进行缩放，𝑑_𝑘是输入向量维度。缩放后的𝑄与𝐾的转置𝐾T相乘，然后进行Softmax操作，结果与V 相乘得到自注意力最终结果O_attn 。现有的基于注意力机制的Transformer模型大多数使用多头自注意力，由多个自注意力操作组成，数量用Head(ℎ)表示。图2(b)展示了Transformer中多头自注意力的计算过程。每个头使用不同的权重𝑊_𝑄𝑖, 𝑊_𝐾𝑖和𝑊_𝑉𝑖来分别得到𝑄_𝑖, 𝐾_𝑖和𝑉_𝑖。最后将h个自注意力输出拼接为O_multi−attn作为多头自注意力的最终结果。 

由上述可知，卷积和注意力机制遵循着不同的设计范式。卷积使用卷积核在感受野上计算得到输出值，感受野是指输出特征图上的像素点在原始图像上映射的区域。相比之下，注意力机制则是对输入特征图及其中间结果进行操作，专注于不同的区域，捕捉更多的特征信息。在推理过程中，卷积计算过程中只涉及输入数据和训练后的模型参数q，而注意力计算过程还包括对当前输入的中间结果进行操作，如Q , K , V 等。另外，与注意力中的单通道2维矩阵乘法不同，卷积计算通常是多通道的。 

CNN和Transformer模型除了计算密集的线性操作，还包括激活和归一化函数。CNN通常采用批归一化，由于批归一化在推理时可以作为固定权重叠加进卷积层，同时CNN频繁使用的激活函数ReLU可以在FPGA上使用简单的查找表实现，其他非线性操作通常只在输出层进行，因此CNN中的非线性与归一化操作基本不会影响其在FPGA上推理的计算效率。Transformer通常采用层归一化，层归一化的对象是单个样本，它对该样本的所有维度的特征进行操作。层归一化使用输入数据的均值和方差作为参数，与输入数据强相关。除了层归一化，Transformer还包括频繁使用的Softmax和GELU激活函数，这些操作在推理时引入了大量时间成本，在CPU上推理一张图像的运行时间占比如图3所示。 

由于CNN和Transformer在计算方式和非线性与归一化操作上存在着以上差异，给当前的计算机视觉神经网络FPGA加速器设计带来了以下挑战。 

(1) 如何在FPGA计算资源上同时映射计算方式不同的卷积和注意力机制； 

(2) 如何在保证精度的前提下设计非线性与归一化加速单元以支持Transformer中的层归一化，Softmax和GELU激活函数加速； 

(3) 基于上述两个挑战，如何将基于CNN和Transformer的算法模型映射到FPGA上进行加速。 

为了最大限度地复用FPGA的计算和存储资源，本文将卷积和注意力机制进行统一映射，这使得两种类型的操作可以使用相同的计算阵列完成。这需要对维度大小不同的卷积和注意力机制中的矩阵乘法操作进行划分，将这些大规模计算映射成计算阵列上的有限次计算[14]。 

本文对卷积操作的划分如图4(a)所示，其中 𝑑_ic,  𝑑_iw和 𝑑_ih分别表示输入特征图划分块的通道数、宽度和高度， 𝑑_oc,  𝑑_ow和 𝑑_oh分别表示输出特征图划分块的通道数、宽度和高度。  𝑑_ow和 𝑑_oh可以根据 𝑑_iw,  𝑑_ih以及卷积核大小和步长得到，因此划分块可以使用4元组(𝑑_ic,𝑑_oc,  𝑑_ow,𝑑_oh) 来表示。本文对注意力机制中矩阵乘法操作的划分如图4(b)所示，由于 𝑑_oh=𝑑_ih，因此使用3元组 (𝑑_iw,𝑑_ow,𝑑_oh)表示矩阵乘法划分块。这些参数均由CNN和Transformer模型各层特征图尺度以及FPGA计算阵列规模决定。 

图 4  卷积和注意力矩阵乘法划分

为了避免溢出和可能的精度损失，视觉Transformer中的Softmax函数可以表达为 

   (1)    

其中，x_i,j 表示输入数据，x_maxi 表示沿列方向n个输入的最大值。 

视觉Transformer中的GELU函数使用式(2)近似 

   (2)    

层归一化函数可表示为 

   (3)    

其中，μ_i 表示第i行输入的均值， 表示第i行输入的方差，ε 是一个非常小的常量，以避免分母为0，α_j 和β_j 分别表示第j列的权重和偏置。 

由于在FPGA上直接计算e^x 会导致巨大的硬件开销，因此本文使用式(4)来近似计算e^x 。当n取2的整数次幂时，除法操作和幂运算就可以转换成移位操作以节省计算成本 

 (4)    

为了确定合理的n值，本文在ViT-B/16模型中Softmax和GELU涉及e^x 计算的输入范围内进行测试，将n分别设置为64, 128, 256, 512, 1024，得到的结果如图6所示。当n=128时，近似函数基本与e^x 函数一致，随着n值增大，相似度越来越大。为了在保证模型精度的前提下尽可能减少计算量，本文将n设置为128，在4.2节展示了n=128时详细的精度测试结果。

本文设置g(x)=(1+x/128)¹²⁸ ，对于Softmax函数，可以将式(1)表示为 

   (5)    

对于GELU函数，设置，式(2)可表示为 

   (6)    

对于层归一化函数，在FPGA上计算方差的倒数平方根会导致较大的硬件开销，因此本文使用快速倒数平方根算法(Fast Inverse Square Root, FISR)[15]，分解其计算流程进行硬件适配，硬件结构如图7(a)所示。本文对上述变换后的Softmax, GELU和层归一化进行操作分解，尽可能地复用FPGA计算资源。非线性与归一化加速单元结构如图7(b)所示，主要使用了2组32路输入的乘法器，1组32路输入的加法器和1组32路输入的除法器，2组32路输入的加法树，在运行中通过指令配置实现Transformer中Softmax, GELU和层归一化3种函数的计算。为了在保持精度的前提下进一步降低资源消耗，除了使用32位单精度浮点数计算方差的倒数平方根，非线性与归一化加速单元使用16位半精度浮点数计算。 

本文提出的CNN和Transformer通用FPGA加速器架构如图8所示。为了简洁明了，省略了底层逻辑和存储资源的互连。本文通过主机解析网络结构描述文件，对神经网络模型进行划分，确定调度顺序，并生成映射指令。预编译的映射指令、预处理的划分块在运行前通过基于高速串行计算机扩展总线标准(Peripheral Component Interface experss, PCIe)的直接内存访问(Direct Memory Access, DMA)存储在片外动态随机存取存储器(Dynamic Random Access Memory, DRAM)。全局控制器接收预编译的映射指令来驱动加速器，将指令发送到片上存储和计算阵列等模块控制数据处理，或将数据请求发送到DRAM读写数据。 

在FPGA设计中，使用一个大规模的设计等效替代多个小规模的设计可以降低设计复杂度和控制难度。因此，在本文的加速器设计中，尽可能选择使用大规模计算阵列，将(N_i,N_o) 配置为(32, 64)。基于DSP时钟倍频和INT8乘法并行计算方法[16,17]，1个DSP可以在每个系统时钟周期内完成4次乘法操作。因此当(N_i,N_o) 配置为(32, 64)时，计算阵列的乘加器只需消耗512个DSP，每个DSP负责4个输出通道方向上的计算。在计算阵列中嵌入了分布式存储(Look-Up-Table Random Access Memory, LUTRAM)来尽可能地复用权重，减少片外访存量。 

预处理的划分块在运行时从DRAM中提取到输入缓存或参数缓存。计算阵列从这些缓存读取数据和参数进行计算。结果缓存负责存储中间或最终结果。当该层包括非线性或归一化或池化操作时，计算结果从结果缓存读入非线性与归一化加速单元或池化单元进行处理，完成后写入DRAM或写回输入缓存或参数缓存进行下一步计算。本文通过映射指令配置了加速器的数据路径和计算并行性。 

本文所设计的加速器目标器件为Xilinx Virtex Ultrascale+ XCVU37P FPGA，主机是一台配置多核Intel Xeon Gold 5218 CPU的服务器，CPU主频为2.3 GHz。我们使用Vivado v2021.1综合实现加速器，系统运行频率为200 MHz，计算阵列的运行频率为400 MHz。 

很多量化研究工作[18,19]已证明量化后的CNN模型在提高性能的同时几乎不会带来明显的精度损失，但视觉Transformer中存在大量与CNN不同的非线性与归一化操作，直接对其低比特量化可能会带来严重的精度下降。为了证明本文设计的有效性，使用ImageNet2012验证集对加入本文设计的典型视觉Transformer模型进行精度消融实验。非线性与归一化函数替换模式分别设置为：仅替换Softmax(OS)、仅替换GELU(OG)、仅替换层归一化(OL)和全部替换(ALL)。测试模型选用DeiT-S, DeiT-B, ViT-B/16, ViT-L/16, Swin-T和Swin-S，替换后的模型与各基线模型的Top-1和Top-5准确率比较结果如表2所示。 

表 2  模型精度消融实验(%)

为了进一步评估非线性与归一化加速单元的计算性能，本文将所提出的加速单元部署在资源规模较小的Xilinx Kintex Ultrascale+ XCKU15P FPGA与现有的其他FPGA加速设计进行对比，结果如表3所示。 

表 3  与相关FPGA加速器的比较结果

本文在所提出的加速器上实现了ResNet-50和ViT-B/16，并与两种神经网络的GPU实现以及现有的神经网络FPGA加速器进行对比。GPU计算平台采用Nvidia V100，基于Tensorflow框架实现了ResNet-50，基于Pytorch框架实现了ViT-B/16。计算阵列上的卷积和注意力机制中的矩阵乘法等线性操作的数据类型使用INT8。本文使用GOP表示模型总操作数，GOPS表示加速器平均每秒完成的操作数，计算阵列(N_i,N_o)配置为(32, 64)，单个时钟周期完成2 048个乘法操作，实验结果如表4所示。 

表 4  与GPU实现和其他文献FPGA加速器的比较结果

部署在本文所提出的加速器上的CNN模型ResNet-50帧率fps达到了76.22；视觉Transformer模型ViT-B/16的帧率fps则为32.16。由于各文献使用的FPGA器件、资源规模、运行频率和部署的神经网络模型不同，仅仅使用fps作为对比指标无法评估各加速器的真实性能。 

为了进一步评估加速性能，本文使用能效比和计算效率两种指标来对比分析各种实现。能效比即为吞吐量除以功耗，计算效率则由加速器运行时的平均吞吐量除以加速器的理论峰值吞吐量得到。由于映射到FPGA加速器上的ResNet-50和ViT-B/16的计算量集中在计算阵列上，并且本文加速设计与对比文献的加速设计的计算阵列均使用DSP实现，因此可以根据计算阵列的DSP效率来衡量FPGA加速器的计算效率。对于未使用DSP的GPU实现，计算效率使用GOPS除以GPU峰值吞吐量得到。DSP效率由式(9)得到，其中 𝑁_dsp表示DSP数量，每个DSP同时处理两个INT8并行操作，∂取2，freq表示运行频率。能效比和计算效率的对比结果分别如图9所示和图10所示。 

图 10  计算效率对比

本文提出一种面向卷积神经网络和视觉Transformer的通用FPGA加速器架构。本文通过分析卷积和注意力机制的计算特征实现了面向FPGA的统一映射，对计算阵列规模进行设计空间探索最大化计算效率。通过分解视觉Transformer的各类非线性与归一化操作，所设计的非线性与归一化加速单元可最大限度地复用FPGA资源。实验结果表明，本文设计在提高吞吐量的同时仅造成很小的精度损失，所提出的加速器架构在实现ResNet-50和ViT-B/16推理中，帧率FPS分别为76.22和32.16，吞吐量达到了589.94 GOPS和564.76 GOPS，能效比远高于GPU实现和其他基于FPGA的大规模加速器设计，且计算效率优于对比加速器。后续工作将研究如何优化硬件资源占用，同时寻求支持更多种神经网络模型。本文研究可以拓展为计算机视觉领域专用计算架构，以完成计算机视觉任务高性能和高能效处理，具有较高的应用推广价值。