分析背景以bilinear算法执行1920x1080-->1280x720缩放为例，结合算法原理，一个目标点水平像素值的计算，需要加载4x4邻域坐标点，每个源像素数据点平均被加载的次数为128072044/（19201080）≈ 7.1次。因此，数据存在重复加载，结合汇编函数的指令热点分析，发现LD指令开销占比很高，因此首先从如何降低数据加载入手。本章节重点从数据加载优化、数据计算高效合并与优势指令应用、偏移量与滤波系数复用等方案维度回顾优化过程（其它指令重排、指令拆分降低指令间依赖等常用ARM汇编优化手段，请阅读媒体分队前几期指令优化案例，本文暂不详细展开介绍）。 libswscale缩放算法数据加载优化 YUV420P的数据1920x1080->1280x720，bilinear算法初始化时filtersize为4，即每个目标点的一次水平计算需参考4个邻域像素点（每行像素点再进行垂直方向4次循环处理，共计参考16个邻域像素点）。开源实现：bilinear算法处理水平方向8个点（每个点的邻域源像素数据ai,j，邻域滤波系数fi,j，i = 0…3, j = 0…3）的数据加载实现如下：识别的问题：像素数据/滤波系数加载均使用LD4数据交错加载指令，优点是通过交错加载，后续乘法可以一次8个像素计算。但存在如下两个问题：a）LD4指令时延大并发度低（latency为10，并发数为0.5）；b）LD4同时占用CPU的LD Unit与FSU Unit资源，乘法运算也会占用CPU的FSU Unit资源，造成数据加载与后续乘法运算对CPU的FSU Unit资源造成抢占，从如下图为指令执行流水，LD4加载V1~V4滤波器系数操作存在长时间等待。优化方案：数据加载重构与数据重排，降低数据加载指令的高时延与提高并发度，同时数据加载减少对CPU FSU Unit资源的依赖。使用LDP/LD1（latency为6，并发数为3）替代LD4，重排数据在寄存器中的排列结构，调整后续数据乘法计算顺序，同时LDP/LD1仅使用CPU的Load Unit，消除与乘法计算的FSU资源抢占。优化总结：通过如上的加载数据重排与后续乘法指令优化，bilinear 1080P-->720P缩放性能提升40%。回顾该问题的优化，首先想到方案是一次数据加载，多次复用的方案，即通过一次LD1加载32字节数据，然后通过7次EXT（latency为2，并发数为4）完成数据构造生成，大幅减少LD1的次数，优化性能也提升约30%，然而EXT也属于CPU的FSU Unit，加重乘法操作的资源抢占，通过进一步尝试减少FSU类型指令，最终确认如上方案，进一步提升性能的同时，实现了资源的利用均衡。 libswscale数据高效合并计算与优势指令的应用 YUV420P的数据1920x1080->1280x720，lanczos初始化的filtersize为12，即每个目标点的一次水平计算需参考12个邻域像素点（每行像素点再进行垂直方向12次循环处理，即每个目标点需参考12x12个邻域点计算而得）。开源实现：lanczos算法处理水平方向8个点（每个点的邻域源像素数据ai,j，邻域滤波系数fi,j，i = 0…12, j = 0…12）的数据计算为例。由于fij为uint16位，寄存器位宽位128，故每个点最多只能处理8个邻域的数据。每个点的12个邻域数据需分两次处理： a）先处理前8个邻域数据，后处理4个邻域数据，共计加载邻域源数据/滤波系数执行32次LDR； b）对16次邻域数据（源数据uint8）使用UXTL指令进行扩位为uint16； c）然后与滤波系数进行24次乘法操作（SMLAL完成低64位运算/SMLAL2完成高64位运算）； d）最后使用6条ADDP完成数据的累加，生成8个点的水平计算结果。识别的问题：数据加载次数过多，16条滤波系数LDR指令latency高，扩展操作次数多，乘法指令SMLAL/SMLAL2的高低位计算存在指令依赖，影响并发度，累加计算次数多。优化方案：将2n/2n+1（n = 0...3）行的24个邻域点，对数据进行重排重组分3行合并计算（每行8个点），数据重排后滤波系数可连续加载，减少系数加载指令数与latency，使用SVE SDOT指令完成乘法运算，解除SMLAL/SMLAL2高低位指令依赖，结果直接累加。 lanczos优化后的汇编实现过程： a）邻域数据加载通过18条LDR/LDP完成加载，滤波系数6条LD1完成加载（指令数大幅降低16->6，同时latency从8->6）； b）12条UXTL（2L/4T）完成邻域数据uint8->uint16扩位（指令数16->12）； c）12条优势指令SVE SDOT（3L/2T）进行向量乘法与结果累加，减少高/低位计算时寄存器依赖； d）4条ADDP（2L/4T）完成8个点结果累加（指令数6->4）。优化总结：通过上述方案的优化，1080P->720P lanczos YUV420P缩放算法，性能提升18%+。回顾优化过程数据合并计算，刚开始识别，首先想到的一次加载邻域12B数据，使用MOV将第2n行的后4B与第2n+1行的前4B合并，性能也存在不少提升，通过微指令分析MOV也属于CPU的SFU Unit资源，与后续UXTL/SDOT都存在资源抢占，通过先加载存入SP，再LDP方式避免对SFU Unit资源竞争使用，性能进一步得到提升。 libswscale偏移量系数与滤波系数高效复用 YUV420P的数据缩放初始化时统一计算所有目标点浮点坐标，确定邻域范围，根据浮点计算公式，可以推导出若k= 为0.5/1/2/3...等值时，每8个点的邻域数据偏移量与前序8个点的水平方向左侧点的偏移量起始点的差值会出现周期性循环规律。以1920x1080->1280x720为例，k=1.5，邻域数据的偏移量依次为{0, 1, 2, 4, 5, 7, 8, 10, 11, 13, 14, 16, 17, 19, 20, 22, 23, 25, 26, 28, 29, 31, 32, 34...}，从第9个点开始减去前8个点偏移值后为{0, 1, 2, 4, 5, 7, 8, 10, 1, 2, 3, 5, 6, 8, 9, 11, 1, 2, 3, 5, 6, 8, 9, 11...}。后续每8个点就会出现{1, 2, 3, 5, 6, 8,9, 11}偏移量差值循环，直至宽度方向结束前8个点。同理也发现，此类情形出现时滤波系数也出现类似周期性循环规律。开源实现：bilinear算法处理水平方向循环计算8个点时，每次采用4次LDP加载邻域数据的偏移量，4次LD1完成滤波系数的加载，以1920x1080->1280x720为例，每行单次邻域数据偏移量需要160x4次LDP加载，滤波系数也需要160x4次LD1加载。识别的问题：针对x=0.5/1/2/3...等值缩放场景下，邻域数据偏移量与滤波系数都存在周期性的循环规律，重复加载极大浪费了CPU Load Unit资源。优化方案：在初始化时增加邻域数据偏移量与滤波系数规律性检测，水平方向只需要进行一次循环判断即可完成，开销占用极低，以1920x1080->1280x720为例偏移量与滤波系数加载指令次数均从160x4次-->3x4次，极大提升了数据加载效率。优化总结：通过上述方案的优化，1080P->720P bilinear YUV420P缩放算法，性能提升20%+，同分辨率bicubic YUV420P缩放算法，性能提升约14%。小结本次缩放专项优化获得几点启示：a）函数优化要理解透算法原理与数据结构，识别最优的计算方式/数据重排/数据加载方式，也是性能优化的关键手段；b）汇编优化要对目标平台优势指令提前深入学习，优势指令的使用也可以带来性能的快速提升；c）汇编优化要对微指令的指令类比较熟悉，单指令latency或并发数的优化，并非最优路径，结合汇编流水识别资源的瓶颈点；如若数据加载为瓶颈时，可以通过EXT/TBL等非Load Unit指令优化数据加载，反过来FSU Unit（运算单元）为瓶颈时，可以通过Load/Store/Integer ALU单元的微指令替代FSU Unit指令所实现的功能，降低FSU Unit的资源负载，实现资源的均衡，达成性能最优。