Công cụ phân tích bộ nhớ

Bạn có thể sử dụng Hồ sơ bộ nhớ để trực quan hoá mức sử dụng bộ nhớ theo thời gian của các trình tăng tốc.

Nền tảng được hỗ trợ

TPU: Được hỗ trợ

GPU: Được hỗ trợ

Sử dụng Công cụ phân tích bộ nhớ

Hồ sơ bộ nhớ có các thành phần sau:

• Bộ chọn Mã bộ nhớ ở đầu trang cho phép bạn tập trung vào Bộ nhớ băng thông cao (HBM) được đính kèm với một trong nhiều trình tăng tốc có thể được kết nối với máy chủ lưu trữ đang được phân tích hoặc thậm chí là bộ nhớ của máy chủ lưu trữ trong một số trường hợp.
• "Biểu đồ tiến trình bộ nhớ" và "Tóm tắt hồ sơ bộ nhớ" ghi lại thông tin cấp cao về việc phân bổ, giải phóng và sử dụng bộ nhớ trong phiên phân tích, bao gồm cả thông tin chi tiết về ngăn xếp và vùng nhớ khối xếp, cũng như mọi tác động của tình trạng phân mảnh.
• Bảng chi tiết về bộ nhớ cung cấp thông tin về các thao tác cấp khung đóng góp nhiều nhất vào mức sử dụng bộ nhớ. Ngoài ra, còn có các thông tin chi tiết bổ sung cho mỗi toán tử như hình dạng, loại dữ liệu, v.v. nếu trình biên dịch cung cấp thông tin này cho XProf. Bảng này cho thấy các thông tin chi tiết này tại thời điểm sử dụng cao nhất trong cửa sổ phân tích tài nguyên, để hỗ trợ gỡ lỗi các tình huống Hết bộ nhớ (OOM).
• Các hoạt động phân bổ và giải phóng được quản lý (và thêm vào hồ sơ) bằng trình phân bổ thời gian chạy của XLA, trình này sở hữu toàn bộ không gian bộ nhớ HBM.
• Xin lưu ý rằng Hồ sơ bộ nhớ thường thú vị và có giá trị hơn đối với việc phân tích GPU so với khối lượng công việc TPU. Mô hình thực thi TPU thường liên quan đến việc phân bổ trước một lượng lớn bộ biên dịch XLA, thay vì trong quá trình huấn luyện hoặc suy luận mô hình. Do đó, bạn thường thấy biểu đồ phân bổ trông giống như một đường ngang phẳng; tất cả các lượt phân bổ đều có thể xảy ra ở ngay đầu hồ sơ (nếu trình phân tích tài nguyên đang hoạt động tại thời điểm đó trong quá trình chạy), khiến bạn khó thấy.
• Chỉ số phân mảnh trong phần tóm tắt hồ sơ bộ nhớ và biểu đồ tiến trình bộ nhớ (dưới dạng phần trăm) giúp xác định các vấn đề về phân mảnh bộ nhớ. Giá trị phân mảnh cao cho biết mặc dù có thể có đủ tổng bộ nhớ trống, nhưng bộ nhớ này không liền nhau, do đó, một yêu cầu phân bổ lớn có thể không thành công.

Một số điểm khác biệt chính giữa công cụ này và công cụ Trình xem bộ nhớ:

• Trình xem bộ nhớ hoàn toàn tĩnh và tập trung vào thứ tự chương trình; Hồ sơ bộ nhớ cung cấp chế độ xem động theo thời gian trong khoảng thời gian phân tích.
• Trình xem bộ nhớ trực quan hoá quá trình phân bổ bộ nhớ trên cơ sở mỗi mô-đun XLA; đối với các khối lượng công việc bao gồm nhiều mô-đun XLA, Hồ sơ bộ nhớ cung cấp một chế độ xem tổng thể về bộ nhớ.