XProf là một công cụ phân tích hiệu suất và lập hồ sơ cho hoạt động học máy.
Tính năng
- Thông tin hồ sơ chất lượng cao dựa trên các sự kiện và bộ đếm phần cứng, cũng như siêu dữ liệu của trình biên dịch.
- Chi phí thu thập thấp, thường là <1% trên TPU và <5% trên GPU trong khoảng thời gian lập hồ sơ.
- Bộ công cụ đa dạng giúp bạn hiểu rõ về khối lượng công việc:
- Trang tổng quan: Xem chế độ xem tổng hợp cấp cao về hiệu suất của mô hình trong quá trình chạy hồ sơ, bao gồm cả mức độ sử dụng tài nguyên phần cứng.
- Trình xem dấu vết: Trực quan hoá dòng thời gian chi tiết của các sự kiện đã xảy ra và phần nào của hệ thống đã thực thi các sự kiện đó (ví dụ: CPU, TPU hoặc GPU).
- Graph Viewer (Trình xem biểu đồ): Trực quan hoá cấu trúc biểu đồ của chương trình XLA. Thao tác này hiển thị biểu đồ Thao tác cấp cao (HLO).
- Memory Viewer (Trình xem bộ nhớ): Hình dung mức sử dụng bộ nhớ trong suốt thời gian hoạt động của chương trình và tìm hiểu chi tiết về nội dung của bộ nhớ tại thời điểm sử dụng bộ nhớ cao nhất.
- Hồ sơ bộ nhớ: Hình dung mức sử dụng bộ nhớ động của các trình tăng tốc trong quá trình thực thi chương trình.
- Hồ sơ HLO Op: tìm hiểu hiệu suất phần cứng cho nhiều danh mục thao tác Cấp cao (HLO) do chương trình của bạn thực thi.
- HLO Op Stats: Xem số liệu thống kê về hiệu suất của các hoạt động Trình tối ưu hoá cấp cao (HLO) do chương trình của bạn thực hiện và xác định các hoạt động tốn nhiều thời gian nhất trong biểu đồ HLO.
- Số liệu thống kê về hoạt động của khung: Xem số liệu thống kê về hiệu suất của các hoạt động ở cấp khung (ví dụ: JAX, TensorFlow hoặc PyTorch/XLA) được thực thi trên máy chủ và trình tăng tốc.
- Phân tích hiệu suất tối đa: Xem mô hình hiệu suất trực quan, trực quan cho thấy những hạn chế vốn có của phần cứng ảnh hưởng đến hiệu suất của chương trình, cho biết liệu chương trình có bị giới hạn về bộ nhớ hay khả năng tính toán hay không.
- Megascale Stats: Phân tích hiệu suất giao tiếp giữa các phân đoạn của những khối lượng công việc trải rộng trên nhiều phân đoạn TPU giao tiếp trên Mạng trung tâm dữ liệu (DCN).
- GPU Kernel Stats (Số liệu thống kê về nhân GPU): Xem số liệu thống kê về hiệu suất và hoạt động của khung ban đầu cho mọi nhân được tăng tốc bằng GPU trong chương trình của bạn.
Bắt đầu
Để biết hướng dẫn cài đặt, hãy xem bài viết Hướng dẫn bắt đầu nhanh về XProf.
Nếu dùng Google Cloud để chạy tải công việc, bạn nên dùng công cụ xprofiler. Công cụ này mang đến trải nghiệm xem và thu thập hồ sơ tinh giản bằng cách sử dụng các máy ảo chạy XProf.
Để xem nhanh bản minh hoạ các chức năng của XProf, hãy thử sổ tay minh hoạ.
Tích hợp TensorBoard
Trước đây, cách duy nhất để cài đặt và sử dụng XProf là dùng Tensorboard. Đây được gọi là hồ sơ trình bổ trợ tensorboard; một số tài liệu cũ vẫn có thể sử dụng thuật ngữ này. Giờ đây, bạn có thể chọn sử dụng tính năng tích hợp này: bạn có thể coi Tensorboard là một vùng chứa cho bộ công cụ XProf. Bộ công cụ này cũng có thể được cài đặt và sử dụng độc lập, với hành vi giống hệt nhau.