Инструмент статистики операций Framework

Вы можете использовать Framework Op Stats для просмотра статистики производительности операций уровня фреймворка (например, JAX или TensorFlow), выполняемых на хосте и ускорителе во время сеанса профилирования. Этот инструмент полезен для определения потенциальных целей для оптимизации производительности, выделяя наиболее трудоемкие операции в течение профилируемого периода.

Поддерживаемые платформы

ТПУ: Поддерживается

Графический процессор: Поддерживается

Компоненты статистики операций Framework

Framework Op Stats имеет следующие ключевые компоненты:

• Таблица статистики операций фреймворка: Это основной компонент, представляющий подробную разбивку каждой операции фреймворка, выполненной во время сеанса профилирования в табличном формате. Для каждой отдельной операции фреймворка есть одна строка, а столбцы содержат различные сведения об этой операции.
  • Поля поиска позволяют фильтровать данные по хосту/устройству, типу операции или названию операции; фильтры выбирают указанную строку, которая отображается в любом месте соответствующего столбца.
• Раздел сводных диаграмм: В этом разделе приведены диаграммы, которые обобщают подробную таблицу по операциям следующим образом:
  • Пара круговых диаграмм (одна для ускорителя и одна для хоста), которые показывают долю времени, затраченного на различные категории операций фреймворка.
  • Круговая диаграмма, показывающая долю времени, затраченного на различные отдельные операции фреймворка (ограничена первыми N операциями, а оставшиеся классифицированы как «Другие» для улучшения читабельности)
• Раздел сводных таблиц: в этом разделе есть пара таблиц (одна для ускорителя и одна для хоста) с количеством событий и общим затраченным временем (как в абсолютном выражении, так и в виде доли от общего времени сеанса) по различным категориям операций фреймворка.
• Раскрывающийся список позволяет вам решить, следует ли включать время простоя в круговые диаграммы и сводные таблицы.

Подробности таблицы статистики операций фреймворка

Вы можете нажать на любой из заголовков столбцов, чтобы отсортировать таблицу статистики операций фреймворка. Порядок по умолчанию основан на общем собственном времени операции (также обозначенном как «ранг» в таблице).

Таблица содержит следующую информацию по каждой операции:

• Место выполнения операции: выполняется ли операция на хосте или устройстве.
• Тип операции фреймворка: они выводятся непосредственно из строки имени операции (последняя часть стека вызовов) для упрощения сортировки.
• Имя операции фреймворка: выводится из метаданных уровня фреймворка, переданных XLA в XProf.
• Вхождения: общее количество раз, когда данная конкретная операция фреймворка была выполнена в течение периода профилирования.
• Общее время (мкс): Совокупное время, потраченное на выполнение этой операции по всем ее появлениям. Если у этой операции есть дочерние операции, это время включает время, потраченное на эти дочерние операции.
• Среднее время (мкс): среднее время на выполнение этой операции, включая время, затраченное на дочерние операции, если таковые имеются.
• Общее собственное время (мкс): совокупное время, затраченное исключительно на выполнение этой операции HLO, за исключением времени, затраченного на ее дочерние операции.
• Среднее собственное время (мкс): среднее время на выполнение данной операции, исключая время, затраченное на дочерние операции.
• Общее время, проведенное пользователем на устройстве (%): личное время оператора в процентах от общего времени, проведенного пользователем на устройстве по всем операторам.
• Общее суммарное время, проведенное за устройством (%): текущая сумма общего времени, проведенного за устройством (%) для всех операций, которые появляются ранее в текущем отсортированном порядке.
• Общее время, проведенное оператором на хосте (%): собственное время оператора в процентах от общего времени, проведенного оператором на хосте по всем операторам.
• Общее накопленное время на хосте (%): текущая сумма общего времени на хосте (%) для всех операций, которые появляются ранее в текущем отсортированном порядке.

Вы можете использовать кнопку «Экспортировать как CSV» в правой части верхней панели, чтобы экспортировать данные из этой таблицы в виде файла CSV, а также использовать флажок «Удобная печать» для более удобного представления.