📊 性能监控

一句话总结：性能监控是 AI 系统稳定性的眼睛，通过实时指标采集、智能告警和容量规划保障系统高效运行。

📋 目录

🏗️ 监控架构

Prometheus + Grafana 架构

📈 关键指标

GPU 指标

指标采集方式告警阈值影响
GPU 利用率nvidia-smi<50% 持续 10min资源浪费
显存使用率nvidia-smi>90%OOM 风险
GPU 温度nvidia-smi>85°C降频
ECC 错误nvidia-smi>0硬件故障
NVLink 带宽nvlink异常波动通信瓶颈

推理指标

指标采集方式告警阈值影响
请求延迟 P99应用监控>500ms用户体验
错误率应用监控>1%服务质量
QPS应用监控低于预期容量不足
KV Cache 利用率推理引擎<30%资源浪费
队列长度服务网格>1000背压

训练指标

指标采集方式告警阈值影响
损失值训练框架异常跳变训练失败
梯度范数训练框架NaN/Inf训练发散
吞吐量训练框架低于预期效率低下
GPU 利用率nvidia-smi<70%资源浪费
通信时间占比NCCL>30%扩展瓶颈

🚨 告警策略

告警分级

等级响应时间通知方式示例
P05min电话 + 群服务不可用
P115min群 + IM性能严重下降
P21h群性能下降
P34hIM + 邮件资源不足
P4当天邮件容量规划

告警规则配置

alerts:
  - name: HighGPUMemory
    expr: gpu_memory_usage > 90
    for: 5m
    severity: P1
    action: auto_scale
    
  - name: HighLatency
    expr: request_latency_p99 > 500
    for: 5m
    severity: P1
    action: alert
    
  - name: LowGPUUtilization
    expr: gpu_utilization < 50
    for: 10m
    severity: P3
    action: alert
    
  - name: TrainingLossSpike
    expr: training_loss > baseline * 2
    for: 1m
    severity: P0
    action: stop_training

📐 容量规划

容量预测

class CapacityPlanner:
    def predict(self, usage_history, months_ahead=3):
        """基于历史数据预测容量需求"""
        
        # 趋势分析
        trend = self.analyze_trend(usage_history)
        
        # 季节性分析
        seasonality = self.detect_seasonality(usage_history)
        
        # 预测
        forecast = self.forecast(
            trend=trend,
            seasonality=seasonality,
            periods=months_ahead
        )
        
        # 建议
        recommendations = self.make_recommendations(forecast)
        return recommendations

扩容策略

策略场景实施方式
垂直扩容单机资源不足升级 GPU/CPU
水平扩容并发请求增加增加实例
弹性扩容流量波动K8s HPA
预留扩容可预测流量预留实例

🔧 性能优化

优化方向

优化效果

优化项效果复杂度
KV Cache 优化吞吐 2-3×中
批量大小调整吞吐 1.5-2×低
模型量化 INT8推理速度 2×，精度降 1%中
算子融合推理速度 1.3-1.5×高
FP16/BF16训练速度 2×低

📚 延伸阅读