鲲鹏HPC集群管理与调度分类提问帖：从部署配置到智能调优的实战指南

一、集群部署与基础配置类问题

Q1：鲲鹏HPC集群部署时，如何选择适配的集群管理工具？

场景：新建鲲鹏920集群（256核/节点），需部署作业调度、监控、存储管理工具链。
提问点：
- Slurm、PBS Pro、OpenLava在鲲鹏多核架构下的性能差异？
- 如何配置Slurm的slurm.conf以适配鲲鹏NUMA拓扑（如SelectTypeParameters=CR_Core_Memory）？
- 分布式存储（如Lustre）与鲲鹏服务器的挂载参数优化（如条带化配置stripe_count=16）？

Q2：鲲鹏集群中，如何实现计算节点与加速卡（Atlas 300T）的统一资源抽象？

场景：集群含鲲鹏920 CPU节点+Atlas加速卡，需调度AI推理与HPC混合负载。
提问点：
- Slurm如何通过Gres字段定义加速卡资源（如Gres=gpu:atlas:2）？
- 如何避免CPU与加速卡资源的“孤岛效应”（如绑定进程到同节点CPU+加速卡）？

Q3：鲲鹏多核集群中，如何平衡大作业与小作业的资源分配效率？

场景：同时存在1000核的CFD仿真（大作业）和64核的分子对接（小作业），小作业常因排队超时失败。
提问点：
- Slurm的PriorityWeightAge与PriorityWeightJobSize参数如何调优以优先小作业？
- 鲲鹏多核特性下，是否应启用“核共享”模式（如1节点运行2个小作业）？

Q4：MPI并行作业在鲲鹏集群中如何优化通信拓扑？

场景：1024核Allreduce操作耗时占比达30%，跨节点通信延迟高。
提问点：
- Hyper MPI如何通过--mca coll_tuned_use_dynamic_rules 1启用拓扑感知算法？
- 如何结合鲲鹏Fat-Tree网络（100G RoCEv2）配置MPI的btl参数（如--mca btl_tcp_if_include eth0）？

Q5：如何为鲲鹏集群设计“分时分区”调度策略？

场景：白天运行交互式调试任务，夜间运行批量计算任务。
提问点：
- Slurm的Partition配置如何划分时段优先级（如TimeLimit=08:00:00限制白天作业）？
- 如何通过QoS（服务质量）限制高优先级作业的资源抢占（如MaxWall=24:00:00）？

Q6：鲲鹏集群监控中，需重点关注哪些架构特有指标？

场景：使用Prometheus+Grafana监控，发现CPU利用率高但负载低。
提问点：
- 鲲鹏NUMA节点间通信延迟（numa_miss指标）、L3缓存命中率（低于90%预警）如何采集？
- 如何通过perf stat -e cycles,instructions,cache-misses定位CPU热点函数？

Q7：鲲鹏集群资源利用率低（CPU<50%），如何定位瓶颈？

场景：批量作业运行后，部分节点CPU闲置，部分节点内存带宽饱和。
提问点：
- 是否因“跨NUMA节点内存访问”导致性能损耗（通过numastat查看numa_hit/numa_miss）？
- 如何调整作业调度策略，避免“大作业独占节点”（如--exclusive参数慎用）？

Q8：鲲鹏+昇腾异构集群中，如何监控AI推理任务的加速卡利用率？

场景：Atlas 300T Pro卡利用率仅30%，但任务排队时间长。
提问点：
- CANN Toolkit的npu-smi info如何集成到Prometheus（如自定义Exporter）？
- 如何通过ascend-dmi工具采集卡温度、功耗与计算负载？

Q9：鲲鹏节点宕机后，Slurm如何快速恢复作业？

场景：计算节点因BMC固件bug意外重启，正在运行的MPI作业中断。
提问点：
- 如何配置Slurm的KillMode=KILL_JOB与RestartCount实现作业自动重试？
- 鲲鹏iBMC（智能基板管理）如何通过Redfish API实现节点状态自动上报？

Q10：集群网络分区（脑裂）时，如何保障调度系统一致性？

场景：25G RoCEv2网络闪断导致控制节点分裂。
提问点：
- Slurm的ControllerTimeout与KeepaliveInterval参数如何调优？
- 是否需部署双控制节点（Active-Standby）并通过Pacemaker实现故障切换？

Q11：鲲鹏HPC集群如何与Kubernetes集成，实现“云原生调度”？

场景：需同时运行传统MPI作业和容器化AI任务。
提问点：
- Volcano调度器如何适配鲲鹏多核特性（如PodSpec中定义cpuset绑定NUMA节点）？
- 如何通过KubeEdge将边缘鲲鹏设备纳入集群统一调度？

Q12：鲲鹏集群中，如何调度“CPU+GPU+NPU”三级异构资源？

场景：某AI训练任务需CPU预处理、GPU模型训练、NPU推理加速。
提问点：
- Slurm的Gres是否支持多级资源声明（如Gres=cpu:64,gpu:a100:4,npu:atlas:2）？
- 如何通过JobSubmitPlugins实现异构资源的“亲和性绑定”（如CPU与NPU同节点）？