XProf to narzędzie do profilowania i analizy wydajności systemów uczących się.
Funkcje
- Informacje o profilu wysokiej jakości na podstawie zdarzeń i liczników sprzętowych oraz metadanych kompilatora.
- Niski narzut zbierania danych, zwykle <1% w przypadku TPU i <5% w przypadku GPU w okresie profilowania.
- Szeroki zestaw narzędzi zapewniających dogłębne zrozumienie Twojego zbioru zadań:
- Strona przeglądu: wyświetla zbiorcze informacje o tym, jak model działał podczas uruchamiania profilu, w tym o tym, jak dobrze wykorzystywał zasoby sprzętowe.
- Przeglądarka śladów: wizualizacja szczegółowej osi czasu zdarzeń, które wystąpiły, oraz części systemu, która je wykonała (np. procesora, TPU lub GPU.
- Wyświetlający wykres: wizualizuj strukturę wykresu programu XLA. Wyświetla wykres operacji wysokiego poziomu (HLO).
- Przeglądarka pamięci: wizualizacja wykorzystania pamięci w trakcie działania programu i szczegółowe informacje o zawartości pamięci w momencie największego wykorzystania.
- Profil pamięci: wizualizacja dynamicznego wykorzystania pamięci akceleratorów podczas wykonywania programu.
- Profil operacji HLO: poznaj wydajność sprzętu w przypadku różnych kategorii operacji wysokiego poziomu (HLO) wykonywanych przez Twój program.
- Statystyki operacji HLO: wyświetlaj statystyki skuteczności operacji optymalizatora wysokiego poziomu (HLO) wykonywanych przez Twój program i określaj najbardziej czasochłonne operacje na wykresie HLO.
- Statystyki operacji w ramach: wyświetl statystyki skuteczności operacji na poziomie struktury (np. JAX, TensorFlow lub PyTorch/XLA) wykonywane na hoście i akceleratorze.
- Analiza wydajności maksymalnej: zobacz intuicyjny wizualny model wydajności, który pokazuje nieodłączne ograniczenia sprzętowe wpływające na wydajność programu, wskazując, czy jest on ograniczony przez pamięć, czy przez moc obliczeniową.
- Statystyki megaskali: analizuj wydajność komunikacji między wycinkami w przypadku zadań obejmujących wiele wycinków TPU, które komunikują się w sieci centrum danych (DCN).
- Statystyki jądra GPU: wyświetl statystyki wydajności i operację frameworka źródłowego dla każdego jądra przyspieszonego przez GPU w programie.
Pierwsze kroki
Instrukcje instalacji znajdziesz w krótkim przewodniku po XProf.
Jeśli do uruchamiania zadań używasz Google Cloud, zalecamy narzędzie xprofiler. Umożliwia to usprawnione zbieranie i wyświetlanie profili za pomocą maszyn wirtualnych z XProf.
Aby szybko zapoznać się z możliwościami XProf, wypróbuj notatnik demonstracyjny.
Integracja z TensorBoard
Wcześniej jedynym sposobem instalowania i używania XProf było korzystanie z Tensorboard. Nazywano go profilem wtyczki TensorBoard. W starszej dokumentacji możesz nadal spotkać się z tym terminem. Ta integracja jest teraz opcjonalna: Tensorboard można traktować jako kontener pakietu narzędzi XProf, który można też zainstalować i używać samodzielnie, z identycznym działaniem.