无源码软件迁移案例 1项目简介华为ExaGear是针对无源码应用程序跨平台迁移到鲲鹏场景研发的动态二进制翻译软件，在运行过程中把x86应用的x86指令翻译为ARM指令并执行。本文针主要对使用exagear迁移x86应用过程中遇到的一个问题进行排查分析。应用主要分为三部分：客户端、组件1和组件2，原先部署在x86环境，当前需要将后端部分应用组件1和组件2通过exagear迁移到鲲鹏服务器上运行。 2问题现象在exagear环境部署启动前置服务和接口服务之后，客户端与后端服务进行数据交互时，会出现交互异常然后一直超时重连的情况。 3问题定位由于该软件开发年份较早，提供该应用服务的ISV也不在，现在维护该应用的客户也不了解该软件的数据交互过程，所以只能通过查看日志文件的方式大致了解数据交互经过。 3.1分析数据流分析x86完整测试日志猜测其大致执行流为： (1)客户端发送请求。 (2)组件1（进程1）接收到客户端请求，解析请求报文，然后发送给组件2。 (3)组件2（进程1）接收到解析完成的报文，然后写入消息队列。 (4)组件1（进程2）从消息队列读取报文，经过处理再写入消息队列。 (5)组件2（进程3）从消息队列读取报文，然后读取流程文件，完成工作流程预编译，执行sql查询，同时再做一些其他的校验认证的操作等。最后提交数据库，将消息写入队列。 (6)组件2（进程2）观察到有消息到达。读取消息内容，做一些检查配置，然后重新写入消息队列，路由给进程1。 (7)组件2（进程1）观察到消息到达，然后将消息返回发送给组件1（进程1）。 (8)组件1（进程1）接收到接口服务返回的消息报文，将报文里面的变量进行转码，然后加密返回给客户端。 3.2Exagear环境问题对比x86环境，在exagear环境执行出现问题的环节： 1.直接启动后端组件应用，都会在日志里面看到“接收消息错误，错误码[22]”的报错，但是没有阻塞影响正常启动。 2.客户端数据交互过程：经历了上述流程1 -> 2 -> 3 -> 4后，第4步也出现了读取消息队列错误的报错： 3.读取不到消息就阻塞住了后面的流程，最后客户端连接超时，关闭连接，报异常。 3.3Strace抓取系统调用分析由于没有源码，exagear也暂时不支持GDB调试，调试源码这条道路走不通。所以转而分析这个消息队列是什么，以及错误码[22]代表什么。询问客户以及现场负责部署环境的同事，都确认没有去部署消息队列组件，检查配置以及x86环境都没有发现关于消息队列的配置项或者进程，确认不是常见的开源息队列组件。消息队列暂时没有思路，继续分析错误码22，这个错误码可能是系统调用的错误码，也可能是应用程序里专门自定义的错误码。如果是系统调用的错误码，则22 对应 EINVAL（Invalid argument，无效参数），现在分析可能是系统调用失败，所以在启动服务进程的时候用strace捕捉一下进程的系统调用过程：但是只发现了这些错误，后面经过测试发现是在host里面用strace捕捉exagear的进程，打开文件的时候就会先尝试读取符号链接，都会失败，转而改用newfstatat后成功，所以与真正的错误码[22]报错没有关系。启动这里的报错没有思路后，只能最后去接口服务抓一下2进程，看看它里面的系统调用过程有什么报错，主要围绕写入日志“读消息队列[65538]错误,errno=22”这一行的上下文分析。详细的对比x86的strace日志之后发现，exagear里面，系统调用比x86的少一个函数msgrcv，之后就是exager写入报错日志，x86正常执行后续程序： x86环境： exagear环境：由此可以分析出在exagear环境上，系统调用msgrcv有问题，导致读取消息失败，但是没有打印出具体是什么错误。 3.4System V消息队列通过系统调用函数可以获取到，上文所指的消息队列为System V，是一种用于单机进程之间的通信机制，由内核维护的链表结构，其关键系统调用：函数作用 msgget 创建或获取消息队列标识符 msgsnd 发送消息到队列 msgrcv 从队列接收消息 msgctl 控制操作（删除、获取状态等）用ipcs -q查看exagear环境消息队列信息：可以看到exagear环境的65538队列已经写入了18条消息在等待进程消费，验证了exagear环境运行报错，确实与System V消息队列的调用有关。 3.5复现问题跟着strace日志，大致模拟了一下这个写入/接收消息的完整流程：按照该流程写了个测试demo在exagear环境执行后，出现了与前面猜疑错误码22一样类型的报错：经过在arm和x86的host环境验证都无该问题发生，验证确实只有在exagear执行才会报错之后，结合System V函数的调用以及错误码22，可以确认是exagear环境里面调用System V的msgrcv函数的过程中发生了传参错误。 4解决问题反馈给exagear工具的专家排查，最后确认是exagear工具对特长数据包做了限制，原因为数据包的处理需要分配内存，为了节约内存空间所以作了限制，所以在给msgrcv函数传过大字节数的数据时发生了错误。经过exagear专家修复后，在客户现场应用后程序正常运行。