XProf adalah alat analisis performa dan pembuatan profil untuk machine learning.
Fitur
- Informasi profil berkualitas tinggi berdasarkan peristiwa dan penghitung hardware, serta metadata compiler.
- Overhead pengumpulan rendah, biasanya <1% di TPU dan <5% di GPU selama periode pembuatan profil.
- Rangkaian alat yang luas untuk memberikan pemahaman mendalam tentang workload Anda:
- Halaman Ringkasan: Lihat tampilan tingkat teratas gabungan tentang performa model Anda selama menjalankan profil, termasuk seberapa baik model tersebut memanfaatkan sumber daya hardware.
- Trace Viewer: Memvisualisasikan linimasa mendetail dari peristiwa yang terjadi, dan bagian sistem yang mengeksekusinya (misalnya, CPU, TPU, atau GPU).
- Graph Viewer: Memvisualisasikan struktur grafik program XLA Anda. Grafik Operasi Tingkat Tinggi (HLO) akan ditampilkan.
- Memory Viewer: Memvisualisasikan penggunaan memori selama masa aktif program, dan mempelajari detail konten memori pada titik penggunaan memori puncak.
- Profil Memori: Visualisasikan penggunaan memori dinamis akselerator Anda selama eksekusi program Anda.
- Profil Operasi HLO: memahami performa hardware untuk berbagai kategori operasi High Level Operation (HLO) yang dijalankan oleh program Anda.
- Statistik Operasi HLO: Lihat statistik performa operasi Pengoptimal Tingkat Tinggi (HLO) yang dijalankan oleh program Anda, dan identifikasi operasi yang paling memakan waktu dalam grafik HLO Anda.
- Statistik Operasi Framework: Lihat statistik performa operasi tingkat framework (misalnya, JAX, TensorFlow, atau PyTorch/XLA) yang dieksekusi di host dan akselerator.
- Analisis Roofline: Lihat model performa visual intuitif yang menunjukkan batasan hardware bawaan yang memengaruhi performa program Anda, yang menunjukkan apakah program tersebut terikat memori atau terikat komputasi.
- Statistik Skala Besar: Menganalisis performa komunikasi antar-slice dari workload yang mencakup beberapa slice TPU yang berkomunikasi di seluruh Jaringan Pusat Data (DCN).
- Statistik Kernel GPU: Lihat statistik performa dan operasi framework yang memulai setiap kernel yang diakselerasi GPU dalam program Anda.
Memulai
Untuk mengetahui petunjuk penginstalan, lihat Panduan Memulai XProf.
Jika Anda menggunakan Google Cloud untuk menjalankan workload, sebaiknya gunakan alat xprofiler. Fitur ini memberikan pengalaman pengumpulan dan penayangan profil yang lancar menggunakan VM yang menjalankan XProf.
Untuk mendapatkan demo cepat tentang kemampuan XProf, coba notebook demo.
Integrasi Tensorboard
Sebelumnya, satu-satunya cara untuk menginstal dan menggunakan XProf adalah dengan menggunakan Tensorboard. Hal ini disebut profil plugin tensorboard; beberapa dokumentasi lama mungkin masih menggunakan istilah ini. Integrasi ini sekarang bersifat opsional: Anda dapat menganggap TensorBoard sebagai container untuk rangkaian alat XProf, yang juga dapat diinstal dan digunakan secara mandiri, dengan perilaku yang identik.