Trang tổng quan
Trang tổng quan cung cấp thông tin tổng hợp cấp cao nhất về hiệu suất của mô hình trong quá trình chạy hồ sơ, mức sử dụng tài nguyên phần cứng của mô hình, v.v. Trang tổng quan đóng vai trò là điểm xuất phát để tiến hành phân tích chi tiết hơn bằng các công cụ khác trong XProf.
Nền tảng được hỗ trợ
TPU: được hỗ trợ
GPU: được hỗ trợ
Trang tổng quan điều chỉnh thông tin hiển thị dựa trên loại trình tăng tốc đang được phân tích. Ví dụ: đối với TPU, chỉ số này cho biết số liệu sử dụng đơn vị ma trận (MXU) (chỉ dành cho hoạt động huấn luyện) dựa trên bộ đếm hiệu suất phần cứng, trong khi đối với GPU, chỉ số này cho biết bảng chi tiết về thời gian dành cho việc khởi chạy hạt nhân so với thời gian tính toán.
Thông tin chi tiết chính cho trang Tổng quan
- XProf phân biệt hồ sơ huấn luyện và suy luận bằng cách kiểm tra xem các hồ sơ đó có sự hiện diện của các toán tử XLA cụ thể được thực thi trong quá trình truyền ngược hay không; sau đó, XProf sẽ tự động điều chỉnh thông tin hiển thị trên trang tổng quan cho phù hợp.
- Đối với các lần chạy huấn luyện, việc tính toán thời gian bước hoạt động hiệu quả nhất nếu chương trình của người dùng chú thích rõ ràng các bước trong vòng lặp huấn luyện. Khi không có thông tin rõ ràng này, XProf sử dụng phương pháp phỏng đoán để ước tính thời gian bước, với độ chính xác có thể thấp hơn.
- Chúng tôi đang trong quá trình hỗ trợ thông tin tổng quan về các lần chạy suy luận; một số dữ liệu có thể không chính xác.