XProf, makine öğrenimi için profilleme ve performans analizi aracıdır.
Özellikler
- Donanım etkinliklerine ve sayaçlarına dayalı yüksek kaliteli profil bilgileri ve derleyici meta verileri.
- Düşük toplama ek yükü: Profil oluşturma döneminde genellikle TPU'larda% 1'den, GPU'larda ise% 5'ten azdır.
- İş yükünüz hakkında ayrıntılı bilgi sağlayan geniş bir araç paketi:
- Genel Bakış Sayfası: Modelinizin bir profil çalıştırması sırasında nasıl performans gösterdiğine dair toplu bir üst düzey görünümün yanı sıra donanım kaynaklarını ne kadar iyi kullandığını görün.
- İzleme Görüntüleyici: Gerçekleşen etkinliklerin ve bunları sistemin hangi bölümünün yürüttüğünün (ör. CPU, TPU veya GPU).
- Grafik Görüntüleyici: XLA programınızın grafik yapısını görselleştirin. Yüksek Düzey İşlemler (HLO) grafiğini gösterir.
- Bellek Görüntüleyici: Programın kullanım ömrü boyunca bellek kullanımını görselleştirin ve bellek kullanımının en yüksek olduğu noktadaki bellek içeriğinin ayrıntılarına inin.
- Bellek Profili: Programınızın yürütülmesi sırasında hızlandırıcılarınızın dinamik bellek kullanımını görselleştirin.
- HLO İşlemi Profili: Programınız tarafından yürütülen farklı Yüksek Düzey İşlem (HLO) kategorilerindeki donanım performansını anlayın.
- HLO İşlem İstatistikleri: Programınız tarafından yürütülen Üst Düzey Optimizasyon (HLO) işlemlerinin performans istatistiklerini görün ve HLO grafiğinizdeki en çok zaman alan işlemleri belirleyin.
- Framework Op Stats: Çerçeve düzeyindeki işlemlerin (ör. JAX, TensorFlow veya PyTorch/XLA) ana makinede ve hızlandırıcıda yürütülür.
- Tavan çizgisi analizi: Programınızın performansını etkileyen donanımla ilgili sınırlamaları gösteren, sezgisel bir görsel performans modeli görün. Bu model, programın belleğe mi yoksa hesaplamaya mı bağlı olduğunu gösterir.
- Megascale Stats: Veri merkezi ağı (DCN) üzerinden iletişim kuran birden fazla TPU dilimini kapsayan iş yüklerinin dilimler arası iletişim performansını analiz edin.
- GPU çekirdek istatistikleri: Programınızdaki her GPU ile hızlandırılmış çekirdek için performans istatistiklerini ve kaynak çerçeve işlemini görün.
Başlarken
Yükleme talimatları için XProf Hızlı Başlangıç başlıklı makaleyi inceleyin.
İş yüklerinizi çalıştırmak için Google Cloud'u kullanıyorsanız xprofiler aracını öneririz. XProf çalıştıran VM'leri kullanarak kolaylaştırılmış bir profil toplama ve görüntüleme deneyimi sunar.
XProf özelliklerinin kısa bir demosunu görmek için demo not defterini deneyin.
TensorBoard entegrasyonu
Geçmişte, XProf'u yüklemenin ve kullanmanın tek yolu Tensorboard'u kullanmaktı. Bu, TensorBoard eklenti profili olarak adlandırılıyordu. Bazı eski dokümanlarda bu terim hâlâ kullanılıyor olabilir. Bu entegrasyon artık isteğe bağlıdır: Tensorboard'u, XProf araç paketinin bir kapsayıcısı olarak düşünebilirsiniz. Bu araçlar, aynı davranışla bağımsız olarak da yüklenebilir ve kullanılabilir.