吧哒科技:基于鲲鹏DevKit快速开发数据安全管理软件,破解性能瓶颈
发表于 2023/06/29
0
数据作为数字经济发展的核心引擎,助力行业数字化转型,随着数字产业的优化升级,数据呈现爆发增长,海量数据的集聚蕴藏了巨大价值,进一步推动社会智能化发展。而近年来,网络攻击、勒索病毒、自然灾害等风险对数据安全的威胁也在持续升级,任何非计划性内的停机,都可能引发巨大的经济损失和社会影响。以金融业为例,数据系统遭到破坏的2天内所受损失为日营业额的50%,如果两个星期内无法恢复信息系统,75%的公司将业务停顿,43%的公司将再也无法开业,没有实施灾难备份措施的公司60%将在灾难后2~3年间破产。
灾备建设是保护数据可用性的关键措施,然而我国数据灾备建设始终是数据安全中较为薄弱的一环,面临着多重挑战,比如数据同步时涵盖主机层、数据库层、存储层的复制,数据格式复杂、数据量大、数据同步困难;灾备系统涉及网络、应用切换、策略管理、容灾演练等多种技术,运维管理难度高、效率低。
武汉吧哒科技股份有限公司:
武汉吧哒科技股份有限公司(简称:吧哒科技)是国内领先的大数据安全保障产品和服务提供商,专注数据安全与容灾备份,为云上云下提供全面数据安全保障。旗下核心产品——信服易备数据安全管理软件采用软硬件一体化配置与服务方案,实现数据库、文件、应用、虚拟机等数据的备份和恢复,对核心业务数据以实时同步方式进行持续保护,快速响应业务需求。
随着企业业务的不断发展与规模的扩张,业务系统及相应的服务器数量也与日俱增,灾备切换的场景变得越来越复杂,因此吧哒科技对承载易备灾备一体机的底层基础设施提出了更高的要求:
(1)实时性要求高:随着业务复杂性变化,灾备的备份周期由天/周为单位的定时备份逐渐转为实时复制,以保证业务的连续性;
(2)高并发量:数据量不断增长的同时也给数据传输带来了巨大压力,服务器在业务高峰时期需同时处理百余个任务,要求平台具备更高的IO并发能力;
(3)高安全性:海量的数字化信息是系统中最为宝贵的信息资源,一旦出现数据丢失或者瘫痪,会大大影响业务体系的安全运行。
鲲鹏天然的多核高并发、高安全等优势,能够很好地满足平台高并发、低时延等要求,并提供完善的鲲鹏DevKit开发套件以及专业服务,能够帮助用户快速完成应用的迁移、开发、编译和调优;基于以上考虑,吧哒科技与鲲鹏达成了深度合作,基于鲲鹏软硬件平台,共同打造信服易备数据安全管理软件V4.0,为用户提供更安全、高效、全面的数据保护。
【信服易备数据安全管理软件系统架构】
迁移:基于鲲鹏DevKit2人天快速迁移信服易备数据安全管理软件
在项目实施初期,开发人员需要将软件平台快速迁移到鲲鹏。该系统主要由Java语言开发,包含14个子模块,6个组件,共计约10万行左右代码, 且第三方软件众多,包含:Redis、Nginx、NFS, 及相关SSO server和Xfyb server服务包等,经分析采用手动迁移的话整个系统预计需要15人天才能完成。
而鲲鹏DevKit代码迁移工具可以实现依赖文件自动识别、兼容JAR包一键下载、代码修改建议一键替换,无须耗时耗力检查跟进。在鲲鹏DevKit的帮助下整个系统只用了2人天。
开发:基于鲲鹏DevKit高效开发信服易备文件备份功能,web访问效率提升74.4%
迁移完成之后,为了保障备份过程中文件数据的完整性及保密性,开发人员决定在鲲鹏平台上新开发文件备份应用。由于原有x86平台的开发经验和兼容生态并不能直接复制到鲲鹏平台之上,开发人员使用了鲲鹏DevKit提供的鲲鹏开发框架、毕昇JDK和性能分析工具,提升鲲鹏原生开发效率及软件运行性能。
首先,开发人员在鲲鹏开发框架的帮助下快速创建应用工程,并一键引入鲲鹏加速库-KAE加解密模块,使能鲲鹏处理器的加解密加速引擎,Web访问效率大幅提升。Web平均响应时间由1162ms降低至513ms,性能提升55.9%;吞吐量由11.1/sec 提升至43.3/sec,性能提升74.4%。
【鲲鹏硬件加速工程工程创建】
同时,为了提升编译效率,开发人员将之前使用的OpenJDK换成了毕昇JDK,毕昇JDK11在鲲鹏架构中为信服易备数据安全管理软件提供了更好的兼容性和稳定性,经验证,信服易备使用OpenJDK的服务启动耗时为56s,而在使用毕昇JDK后启动耗时为30s,响应时间缩短46.4%。
此外,应用开发完成之后,开发人员还使用了鲲鹏DevKit性能分析工具深度优化,进一步提升软件在鲲鹏上的运行性能。信服易备的后端系统是一个集中式的C/S架构,一个服务端对应多个客户端,当出现多客户端调度任务时,数据库的存储容量以及可扩展性都面临挑战,备份任务处理场景下数据存在丢失或响应慢等情况。针对上述问题,开发人员使用了鲲鹏性能分析工具提供的调优助手进行快速扫描分析,识别到并行任务处理能力在高峰期数据常有积压,每秒仅能处理约100条任务,工具建议进行参数配置优化,技术人员调小了dirty_expire_centiseconds参数后,高峰期每秒可并行处理大约150条任务,性能提升50%。
【性能前后对比图】
经过上述优化,吧哒科技信服易备系统的任务处理能力和web访问效率等综合性能均得到明显提升,实现了用户操作与请求、响应的快速转换,极大提升了用户体验。
当前,信服易备数据安全管理软件V4.0已服务于医疗、金融、政府、教育、企业等行业超1000家用户,覆盖湖北、湖南、江西、河南、安徽、浙江六大省份,并成功入选国家级大数据试点示范项目,获得 “湖北省2022年工业软件优秀产品”等多项荣誉。作为鲲鹏计算产业生态重要伙伴,吧哒科技已与长江鲲鹏生态创新中心建立长期合作关系。未来,吧哒科技将基于鲲鹏平台打造更多数字化行业应用安全解决方案, 通过产学研融合发展,为客户提供更高品质的IT产品和服务。
2023年,鲲鹏DevKit将围绕开发者体验持续升级能力,支持迁移扫描、鲲鹏亲和分析等插件快速接入企业现有DevOps流水线,不改变现有开发流程,开发者可以每天自动扫描、修改、提交代码,更加便捷的发布鲲鹏版本。同时在鲲鹏社区提供免费鲲鹏DevKit云开发服务,开发者可以一键开通,随时随地迁移和开发。
往期推荐: