最近将大数据集群从x86迁移到了鲲鹏arm,旧集群用的Hadoop2.6+HBase1.2.0,新集群用的比较新的Hadoop3.3.6+HBase1.2.0(均为Apache官方下载),迁移完成后,测试查询速度,发现新集群查询速度比旧集群低了20 ~ 50%。按理说鲲鹏920性能应该是远超E5 2640v4的,但是新集群Hadoop和HBase以及JVM参数不管怎么调,查询速度都超不过旧集群。后来经过大量测试,发现性能瓶颈好像在HBase上,HBase的数据处理速度比较慢(依据:Hadoop顺序读比旧集群快不少,但是HBase Scan依旧很慢,且旧集群的热数据查询速度约为冷查询的2倍,但是新集群的热查询速度只有冷查询的1.3~1.4倍)。
当我百思不得其解的时候,发现了鲲鹏社区,有不少类似x86迁移到鲲鹏性能下降的帖子,比较多的是NUMA相关,我尝试将RegionServer绑定到了指定的CPU和内存,但经过测试,查询速度并没有改善。此外,我发现华为官方有编译好的Hadoop和HBase,以及一些配套的加速工具,但版本都比较旧,且当前我的项目没法擅自修改Hadoop和HBase的版本,所以也没法使用。
请问各位大佬有没有遇到类似的问题?能否给予一些指点?感激不尽!
当我百思不得其解的时候,发现了鲲鹏社区,有不少类似x86迁移到鲲鹏性能下降的帖子,比较多的是NUMA相关,我尝试将RegionServer绑定到了指定的CPU和内存,但经过测试,查询速度并没有改善。此外,我发现华为官方有编译好的Hadoop和HBase,以及一些配套的加速工具,但版本都比较旧,且当前我的项目没法擅自修改Hadoop和HBase的版本,所以也没法使用。
请问各位大佬有没有遇到类似的问题?能否给予一些指点?感激不尽!