Công cụ hồ sơ hoạt động HLO
Bạn có thể sử dụng công cụ Hồ sơ thao tác HLO để nắm được hiệu suất phần cứng cho các danh mục thao tác Hoạt động cấp cao (HLO) khác nhau được thực thi trong khoảng thời gian lập hồ sơ.
Nền tảng được hỗ trợ
TPU: Được hỗ trợ
GPU: Được hỗ trợ
Sử dụng công cụ HLO Op Profile
Hồ sơ hoạt động HLO có các thành phần sau:
- Thông tin tổng quan ở đầu trang cung cấp thông tin tóm tắt về mức sử dụng tổng thể của FLOP tính toán của bộ tăng tốc và băng thông HBM trong khoảng thời gian phân tích tài nguyên.
- Bảng dưới đây cung cấp thông tin chi tiết hơn về mức sử dụng. Báo cáo này phân loại các thao tác HLO do mỗi mô-đun thực thi trong khoảng thời gian phân tích tài nguyên. Bạn có thể duyệt qua hệ phân cấp và xem mức sử dụng theo mô-đun, theo danh mục trong mô-đun hoặc theo thao tác trong danh mục. Bạn có thể mở rộng thêm các toán tử hợp nhất để hiển thị các toán tử không hợp nhất, theo phần tử mà chúng chứa.
- Việc phân loại chủ yếu do trình biên dịch XLA xác định, trong đó XProf sử dụng các phương pháp phỏng đoán bổ sung trong một số trường hợp nhất định (ví dụ: phân tích cú pháp biểu đồ HLO để xác định "sự hợp nhất tích chập").
- Theo mặc định, danh sách mô-đun, danh mục và thao tác được sắp xếp theo tỷ lệ phần trăm tổng thời gian thực thi mô-đun, danh mục hoặc thao tác. Thay vào đó, bạn có thể chọn sắp xếp theo các thao tác gây ra mức sử dụng phần cứng thấp nhất (mức sử dụng được tính theo thời gian chạy của thao tác hoặc "thời gian lãng phí"). Bằng cách xác định các thao tác có mức sử dụng FLOPS thấp và mức tiêu thụ thời gian cao, bạn có thể nhắm đến các thao tác đó để tối ưu hoá.
- Khi di chuột qua một phép toán trong bảng, một thẻ sẽ xuất hiện ở bên trái, cho thấy thêm thông tin chi tiết về phép toán hoặc danh mục phép toán. Khi nhấp vào một mục trong bảng, thẻ chi tiết về thao tác sẽ được ghim. Các thẻ này thường bao gồm những thông tin sau đây (nếu thích hợp):
- Đường liên kết đến toán tử trong công cụ Trình xem biểu đồ.
- Thời gian thực thi trung bình.
- Tốc độ sử dụng tuyệt đối (tương phản với mức sử dụng được báo cáo trong bảng) của điện toán (TFLOP/giây), băng thông HBM (GB/giây) và băng thông đọc và ghi trên chip (GB/giây).
- Thông tin chi tiết đầy đủ về toán tử XLA, bao gồm cả thông tin chi tiết về nhiều hình dạng và bố cục.
- Nguồn gốc của toán tử XLA ở cấp khung.
- Số lần xuất hiện của toán tử và tổng thời gian dành cho toán tử đó theo tổng hợp.
Xin lưu ý rằng băng thông thô (GB/giây) hoặc tốc độ tính toán (TFLOP/giây) được tính toán bằng cách kết hợp dữ liệu trình biên dịch tĩnh trên FLOP hoặc số byte cần thiết cho toán tử (hệ số) với thông tin về thời lượng cho mỗi toán tử từ hồ sơ (mẫu số). Số liệu về mức sử dụng (tính theo phần trăm) được tính bằng cách tính dữ liệu tiêu thụ tài nguyên tuyệt đối dưới dạng một phần của khả năng điện toán đỉnh hoặc băng thông đỉnh trên mỗi trình tăng tốc.