一个基于python的GROMACS运行日志的性能数据抓取脚本
收藏回复举报
回复仅回复人和楼主可见
一个基于python的GROMACS运行日志的性能数据抓取脚本
新人帖
发表于2023-09-18 16:43:17
0 查看

我们在对GROMACS在鲲鹏920上的运行性能分析与调优过程的实践中,受限于GROMACS复杂的输出日志,无法快速提取日志中相关的性能数据,基于Python开发了一个日志读取脚本,可以将所关心的性能数据统一抓取到csv中,便于数据的对比分析。具体如下:

环境:

Linux、Python3、openyxl

脚本内容: 

#!/usr/bin/env python 

import os 

import sys 

import openpyxl 

 

def create_summary(summary): 

    wb = openpyxl.Workbook() 

    wb.save(summary) 

 

    wb = openpyxl.load_workbook(summary) 

    ws = wb['Sheet'] 

    ws.title = "Gromacs"  

 

    ws.merge_cells('A1:E1') 

    ws.merge_cells('F1:K1') 

    ws.merge_cells('L1:Q1') 

    ws.merge_cells('R1:W1') 

    ws.merge_cells('X1:AC1') 

    ws.merge_cells('AD1:AI1') 

    ws.merge_cells('AJ1:AO1') 

    ws.merge_cells('AP1:AU1') 

    ws.merge_cells('AV1:BA1') 

    ws.merge_cells('BB1:BG1') 

    ws.merge_cells('BH1:BM1') 

    ws.merge_cells('BN1:BS1') 

    ws.merge_cells('BT1:BY1') 

    ws.merge_cells('BZ1:CE1') 

    ws.merge_cells('CF1:CK1') 

    ws.merge_cells('CL1:CQ1') 

    ws.merge_cells('CR1:CW1') 

    ws.merge_cells('CX1:DC1') 

    ws.merge_cells('DD1:DI1') 

    ws.merge_cells('DJ1:DO1') 

    ws.merge_cells('DP1:DU1') 

    ws.merge_cells('DV1:EA1') 

    ws.merge_cells('EB1:EC1') 

 

    ws['A1'] = 'Performance' 

    ws['F1'] = 'Domain decomp.' 

    ws['L1'] = 'DD comm. load.' 

    ws['R1'] = 'DD comm. bounds' 

    ws['X1'] = 'Neighbor search' 

    ws['AD1'] = 'Launch GPU ops.' 

    ws['AJ1'] = 'Comm. coord.' 

    ws['AP1'] = 'Force' 

    ws['AV1'] = 'Wait + Comm. F' 

    ws['BB1'] = 'PME mesh' 

    ws['BH1'] = 'Wait GPU NB nonloc.' 

    ws['BN1'] = 'Wait GPU NB local' 

    ws['BT1'] = 'NB X/F buffer ops.' 

    ws['BZ1'] = 'Write traj.' 

    ws['CF1'] = 'Update' 

    ws['CL1'] = 'Constraints' 

    ws['CR1'] = 'Comm. energies' 

    ws['CX1'] = 'Rest' 

    ws['DD1'] = 'Send X to PME' 

    ws['DJ1'] = 'PME wait for PP' 

    ws['DP1'] = 'Wait + Recv. PME F' 

    ws['DV1'] = 'Wait PME GPU gather' 

    ws['EB1'] = 'Other Info' 

    # header_group = ('Performance', \ 

    #                 'Domain decomp.',\ 

    #                 'DD comm. load', \ 

    #                 'DD comm. bounds',\ 

    #                 'Neighbor search', \ 

    #                 'Launch GPU ops.', \ 

    #                 'Comm. coord.', \ 

    #                 'Force', \ 

    #                 'Wait + Comm. F', \ 

    #                 'PME mesh', \ 

    #                 'Wait GPU NB nonloc.', \ 

    #                 'Wait GPU NB local', \ 

    #                 'NB X/F buffer ops.', \ 

    #                 'Write traj.', \ 

    #                 'Update', \ 

    #                 'Constraints', \ 

    #                 'Comm. energies', \ 

    #                 'Rest', \ 

    #  Send X to PME 

    #  PME wait for PP * 

    #  Wait + Recv. PME F 

    #                     ) 

    # ws.append(header_group) 

 

    # performance 

    res = ("Num Ranks", 'Num Threads', 'Call Count', ' Wall time(s)', 'total sum', '%') 

    header_item = ('Core t (s)', 'Wall t (s)', '(%)', '(ns/day)', '(hour/ns)') + 21 * res + ('Log Path', 'Command Line') 

    ws.append(header_item) 

 

    wb.save(summary) 

 

def Analysis_log(log, summary): 

    wb = openpyxl.load_workbook(summary) 

    ws = wb['Gromacs'] 

    rows = ws._current_row 

    # print(rows) 

    with open(log, 'r') as file_to_read: 

        cmd_flag = 0 

        while True: 

            lines = file_to_read.readline() # 整行读取数据 

            if not lines: 

                break 

            pass 

            # print(lines) 

 

           # Performance 

            if(lines.startswith("       Time:")): 

                offset = 0 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= offset + index - 1, value=str.split(lines, " ")[index])     

 

            # Performance 

            if(lines.startswith("Performance:")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 0: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 4 + index - 1, value=str.split(lines, " ")[index])             

 

            # Domain decomp. 

            if(lines.startswith(" Domain decomp.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 6 + index - 3, value=str.split(lines, " ")[index]) 

                # print(str.split(lines, " ")[1]) 

                # print(str.split(lines, " ")[2]) 

                # print(str.split(lines, " ")[3]) 

                # print(str.split(lines, " ")[4]) 

                # print(str.split(lines, " ")[5]) 

                # print(str.split(lines, " ")[6]) 

 

            # Domain decomp. 

            if(lines.startswith(" DD comm. load")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 3: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 11 + index - 3, value=str.split(lines, " ")[index]) 

 

            # DD comm. bounds 

            if(lines.startswith(" DD comm. bounds")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 3: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 17 + index - 3, value=str.split(lines, " ")[index]) 

 

            # Neighbor search 

            if(lines.startswith(" Neighbor search")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 23 + index - 2, value=str.split(lines, " ")[index]) 

 

            #Launch GPU ops. 

            if(lines.startswith(" Launch GPU ops.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 3: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 29 + index - 3, value=str.split(lines, " ")[index]) 

 

            # Comm. coord. 

            if(lines.startswith(" Comm. coord.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 35 + index - 2, value=str.split(lines, " ")[index]) 

 

            # Force 

            if(lines.startswith(" Force")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 41 + index - 1, value=str.split(lines, " ")[index]) 

 

            # Wait + Comm. F 

            if(lines.startswith(" Wait + Comm. F")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 47 + index - 4, value=str.split(lines, " ")[index]) 

 

            # PME mesh  

            if(lines.startswith(" PME mesh")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                    lines = lines.replace("*", "") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 53 + index - 2, value=str.split(lines, " ")[index]) 

 

            #  Wait GPU NB nonloc.  

            if(lines.startswith(" Wait GPU NB nonloc.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 59 + index - 4, value=str.split(lines, " ")[index]) 

 

            # Wait GPU NB local  

            if(lines.startswith(" Wait GPU NB local")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 65 + index - 4, value=str.split(lines, " ")[index]) 

 

            # NB X/F buffer ops.  

            if(lines.startswith(" NB X/F buffer ops.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 71 + index - 4, value=str.split(lines, " ")[index]) 

 

            # Write traj.  

            if(lines.startswith(" Write traj.")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 77 + index - 2, value=str.split(lines, " ")[index]) 

 

            # Update  

            if(lines.startswith(" Update")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 83 + index - 1, value=str.split(lines, " ")[index]) 

 

            # Constraints  

            if(lines.startswith(" Constraints")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 89 + index - 1, value=str.split(lines, " ")[index]) 

 

            #  Comm. energies  

            if(lines.startswith(" Comm. energies")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 2: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 95 + index - 2, value=str.split(lines, " ")[index]) 

 

            # Rest  

            if(lines.startswith(" Rest")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 101 + index + 2, value=str.split(lines, " ")[index]) 

 

            # Send X to PME 

            if(lines.startswith(" Send X to PME")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 1: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 107 + index - 4, value=str.split(lines, " ")[index]) 

 

            # PME wait for PP *  

            if(lines.startswith(" PME wait for PP *")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                    lines = lines.replace("*", "") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 113 + index - 1, value=str.split(lines, " ")[index]) 

 

            # Wait + Recv. PME F  

            if(lines.startswith(" Wait + Recv. PME F")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 5: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 119 + index -5, value=str.split(lines, " ")[index]) 

 

            # Wait PME GPU gather  

            if(lines.startswith(" Wait PME GPU gather")): 

                while lines.count("  ") != 0 : 

                    lines = lines.replace("  ", " ") 

                # print(lines) 

                for index in range(len(str.split(lines, " "))): 

                    if index > 4: 

                        # print(str.split(lines, " ")[index]) 

                        ws.cell(row=rows+1, column= 125 + index -4, value=str.split(lines, " ")[index]) 

 

            # Other Info 

            ws.cell(row=rows+1, column= 132, value=log) 

 

            if(lines.startswith("Command line:")): 

                cmd_flag = 1 

            if(cmd_flag and lines.startswith("  ")): 

                ws.cell(row=rows+1, column= 133, value=lines) 

                cmd_flag = 0             

    wb.save(summary) 

 

if __name__=="__main__": 

    print("==========process begin==========") 

    input_file = sys.argv[1] 

    print("input dir: %s" %(input_file)) 

 

    # write 

    output_file = "summary.xlsx"  

    create_summary(output_file) 

 

    list = os.listdir(input_file)  # 列出文件夹下所有的目录与文件 

    for i in range(0, len(list)): 

        path = os.path.join(input_file, list[i]) 

        if path.endswith(".log"): 

            # print(path) 

            Analysis_log(path, output_file) 

    print("==========process end==========") 

我要发帖子