企业官网建设流程全解析

网站产品链接怎么做的,iis可以做php网站吗,网站建设产品说明书,投资公司设立条件目录 文章目录目录性能分析工具关键指标NVIDIA Nsight SystemsNVIDIA Nsight ComputeNVIDIA DCGM基于 eBPF 的 GPU 性能追踪参考文档性能分析工具关键指标 《程序性能分析器实现技术》 技术方向#xff1a; 追踪#xff08;Tracing#xff09;#xff1a;插桩#xff08…目录文章目录目录性能分析工具关键指标NVIDIA Nsight SystemsNVIDIA Nsight ComputeNVIDIA DCGM基于 eBPF 的 GPU 性能追踪参考文档性能分析工具关键指标《程序性能分析器实现技术》技术方向追踪Tracing插桩LD_PRELOAD 动态二进制插桩、钩子内核 eBPF、硬件性能计数器采样Sampling使用硬件计时器或性能计数器溢出中断定期采样程序计数器PC和调用栈。例如以一定间隔捕获堆栈跟踪以统计推断热点代码。采集范围CPUPython、C/C、CUDA Runtime API、GPU Driver APIGPUCUDA HW、GPU Metrics数据处理追踪数据的格式、存储、导出可视化CLI、GUI、Web时间线、火焰图、依赖图。多机多卡可扩展性环境侵入性性能开销NVIDIA Nsight Systems《使用 Nsight Systems 来优化 CUDA 程序性能》NVIDIA Nsight Compute《使用 Nsight Compute 来优化 CUDA 程序性能》NVIDIA DCGMNVIDIA GPU 内置了一些硬件计数器这些计数器用于收集一些设备级别的性能指标例如GPU 利用率、内存使用情况等。借助 NVIDIA NVMLNVIDIA Management Library编程库提供给 nvidia-smi 与 DCGMData Center GPU Manager等工具进行数据查询。官网https://developer.nvidia.com/dcgmDCGM 是 GPU 集群级别Data Center的遥测和监控技术采用分布式架构。如下图所示DC Cluster Management SoftwareDC Cluster Management Software AgentDC GPU Mangernv-hostengineGPU Driver在 nv-hostengine 和 GPU Driver 的追踪Tracing方面以秒为单位nv-hostengine 与 GPU Driver 接口交互用于收集 GPU 的指标包括SM 利用率、内存利用率、温度、功耗、时钟速度、ECC 内存错误、PCIe 吞吐量、NVLink 吞吐量等。DCGM 主要使用驱动程序计数器轮询和某些健康事件的 Callbacke.g. ECC 错误事件。具有非常低性能开销并且是完全无侵入的。在 Kubernetes 环境中提供了 DCGM-Exporter 与 Prometheus 以及 Grafana 进行集成。这使 DCGM 非常适合在容器化环境中进行长期运行监控还可以设置基于策略的告警。可见DCGM 适用于 Metrics 的监控场景而 Nsight 则用于 Tracing 和 Profiling 的性能优化场景。所以 DCGM 也具有以下特性与局限性。特性完全透明的数据收集直接从硬件层面采集数据对应用程序的性能几乎没有影响。即应用程序无需更改任何代码或配置就可以启用性能数据的采集功能实现完全透明的数据收集过程。支持连续的、实时的性能监控无论是否有应用运行都能持续收集相关数据。局限性不感知 CUDA 程序如果在一张 GPU 卡上同时运行多个应用程序时无法精确区分每个应用程序对 GPU 资源的具体占用情况。不感知 CPU 调度硬件层的性能分析只能反映 GPU 端的资源使用和性能表现无法获知 CPU 与 GPU 之间的协同工作状态例如 CPU 的调度效率、任务发送速度等因素对 CUDA 应用整体性能的影响。在安全方面可能泄露详细信息的 GPU 性能计数器被限制为管理员权限所以需要为非 root 的 DCGM 设置 NVreg_RestrictProfilingToAdminUsers0以允许使用。基于 eBPF 的 GPU 性能追踪eGPU 和 bpftime 是最近合并的两个开源项目展示了利用 Linux eBPF 技术进行真正的零插桩 GPU 性能监控的新方式。与传统工具通常需要显式修改目标应用程序、重新编译或依赖供应商 SDK如 NVIDIA Nsight不同这套新方案通过操作系统级的动态追踪在不修改目标程序二进制的情况下实现了 GPU 执行阶段的实时监控。CPU 端bpftime 使用 eBPF uprobes用户态探针动态附加到 NVIDIA CUDA 运行时库libcudart.so中的关键 API 上例如 cudaMalloc、cudaMemcpy、cudaFree 和 cudaLaunchKernel 等拦截并记录应用程序调用 CUDA API 的情况。当被钩住的 CUDA 函数调用触发时uprobe 会在 Linux 内核中执行一个极为轻量的 BPF 程序记录调用参数如内存分配大小、数据传输尺寸及精确的 CPU 时间戳。这些数据存入内核的 ring buffer 结构中。GPU 端 eGPU 在 GPU 内核端也实现了完全的 eBPF 探针能力。eGPU 将用户编写的 BPF 字节码即时JIT翻译为 NVIDIA GPU 原生指令PTX并直接注入到运行中的 CUDA kernel 中从而实时捕获 GPU 内部事件如内核启动、线程块调度、事件同步和计算单元执行。由于这种内核级注入是透明进行的无需修改 GPU kernel 源码或二进制文件它极大地提高了 GPU 内部追踪的精度提供亚微秒级别的 GPU 端时间戳追踪数据的实时性和精确度远高于传统用户态工具。最后还实现了 CPU 和 GPU 两端事件的统一聚合与同步两者通过高效的内核态 ring buffer 进行合并与关联确保追踪过程中数据和时间戳的一致性和低延迟。从功能定位上看eGPU 和 bpftime 填补了现有 GPU 性能工具之间的空白它既不需要开发者插桩代码或重新编译也无需依赖供应商专有工具链却能够实时揭示内存使用模式、数据传输性能瓶颈、GPU 内核的真实启动延迟及执行效率。这种高效且真正零侵入性的设计极大简化了实际部署的复杂性。参考文档https://eunomia.dev/zh/blog/posts/gpu-profile-tool-impl/#api