HLO Op Profile Tool
Profil oluşturma döneminde yürütülen farklı Yüksek Seviye İşlem (HLO) işlemi kategorilerinin donanım performansını anlamak için HLO İşlem Profili aracını kullanabilirsiniz.
Desteklenen Platformlar
TPU: Desteklenir
GPU: Desteklenir
HLO Op Profile aracını kullanma
HLO Op Profili aşağıdaki bileşenleri içerir:
- Sayfanın üst kısmındaki genel bakış, profil oluşturma döneminde hızlandırıcı hesaplama FLOP'larının ve HBM bant genişliğinin genel kullanımına dair bir özet sunar.
- Aşağıdaki tabloda, kullanımla ilgili daha ayrıntılı bir görünüm sunulmaktadır. Profil oluşturma döneminde her modül tarafından yürütülen HLO işlemlerini kategorilere ayırır. Böylece hiyerarşide gezinebilir ve modül başına, modül içindeki kategori başına veya kategori içindeki işlem başına kullanım oranını görüntüleyebilirsiniz. Füzyon işlemleri, içerdikleri füzyon dışı, öğe bazında işlemleri göstermek için daha da genişletilebilir.
- Kategorize etme işlemi çoğunlukla XLA derleyicisi tarafından tanımlanır.XProf, belirli senaryolarda ek sezgisel yöntemler kullanır (ör. "toplama birleştirmelerini" tanımlamak için HLO grafiğini ayrıştırır).
- Varsayılan olarak modül, kategori ve işlem listesi, modülün, kategorinin veya işlemin yürütülmesi için harcanan toplam sürenin kesrine göre sıralanır. Bunun yerine, donanımın en fazla kullanılmamasına neden olan işlemlere (işlemin çalışma süresine veya "boşa harcanan zamana" göre ağırlıklandırılmış kullanım) göre sıralamayı seçebilirsiniz. FLOPS kullanımı düşük ve zaman tüketimi yüksek işlemleri belirleyerek bunları optimizasyon için hedefleyebilirsiniz.
- Tablodaki bir işlemin üzerine geldiğinizde sol tarafta, işlem veya işlem kategorisiyle ilgili daha fazla ayrıntının gösterildiği bir kart açılır. Tablo girişini tıkladığınızda işlem ayrıntıları kartı sabitlenir. Bu kartlar genellikle uygun durumlarda aşağıdakileri içerir:
- Grafik Görüntüleyici aracındaki işleme bağlantısı.
- Ortalama yürütme süresi.
- Hesaplama (TFLOP/sn), HBM bant genişliği (GB/sn) ve çip üzerinde okuma ve yazma bant genişliğinin (GB/sn) mutlak kullanım oranları (tabloda raporlanan kullanım oranlarına kıyasla).
- Çeşitli şekiller ve düzenler ile ilgili ayrıntılar da dahil olmak üzere XLA işlem ayrıntılarının tamamı.
- Çerçeve düzeyinde XLA işleminin kaynağı.
- İşlemin gerçekleşme sayısı ve işlem için harcanan toplam süre (toplamda).
Ham bant genişliklerinin (GB/s) veya hesaplama hızlarının (TFLOP/s), işlem için gereken FLOP'lar veya baytlarla ilgili statik derleyici verilerinin (payda) profildeki işlem başına süre bilgileriyle (pay) birleştirilerek hesaplandığını unutmayın. Kullanım sayıları (yüzdeler), mutlak kaynak tüketimi verilerinin hızlandırıcı başına en yüksek işlem veya bant genişliği kapasitesinin kesri olarak hesaplanması ile hesaplanır.