XProf:加速器效能分析

XProf 是機器學習的剖析和效能分析工具。

功能

  • 根據硬體事件和計數器,以及編譯器中繼資料,提供高品質的剖析資訊。
  • 收集負擔低,在剖析期間,通常在 TPU 上不到 1%,在 GPU 上不到 5%。
  • 提供廣泛的工具套件,深入瞭解工作負載:
    • 總覽頁面:查看模型在剖析執行期間的匯總頂層檢視,包括模型使用硬體資源的程度。
    • 追蹤記錄檢視器:以詳細時間軸呈現發生的事件,以及執行這些事件的系統部分 (例如 CPU、TPU 或 GPU)。
    • 圖表檢視器:顯示 XLA 程式的圖表結構。並顯示高階作業 (HLO) 圖表。
    • 記憶體檢視器:以視覺化方式呈現程式生命週期的記憶體用量,並深入瞭解記憶體用量達到尖峰時的記憶體內容詳細資料。
    • 記憶體設定檔:以視覺化方式呈現程式執行期間加速器的動態記憶體用量。
    • HLO 運算剖析:瞭解程式執行的不同類別高階運算 (HLO) 運算的硬體效能。
    • HLO Op Stats:查看程式執行的高階最佳化工具 (HLO) 作業成效統計資料,並找出 HLO 圖表中最耗時的作業。
    • 架構作業統計資料:查看架構層級作業的成效統計資料 (例如 JAX、TensorFlow 或 PyTorch/XLA) 在主機和加速器上執行。
    • 屋頂線分析:查看直覺式的視覺化效能模型,瞭解影響程式效能的固有硬體限制,並指出程式是否受記憶體或運算量限制。
    • 大規模統計資料:分析跨多個 TPU 配量的負載,這些配量會透過資料中心網路 (DCN) 通訊,並分析配量間的通訊效能。
    • GPU 核心統計資料:查看程式中每個 GPU 加速核心的效能統計資料和原始架構作業。

開始使用

如需安裝操作說明,請參閱「XProf 快速入門」。

如果您使用 Google Cloud 執行工作負載,建議使用 xprofiler 工具。使用執行 XProf 的 VM,即可簡化設定檔的收集和檢視體驗。

如要快速瞭解 XProf 的功能,請試用示範筆記本

整合 TensorBoard

過去,安裝及使用 XProf 的唯一方法是使用 Tensorboard。這稱為 TensorBoard 外掛程式設定檔,部分舊版文件可能仍使用這個詞彙。這項整合功能現在為選用功能:您可以將 Tensorboard 視為 XProf 工具套件的容器,也可以安裝並單獨使用這些工具,行為完全相同。