ابزار نمایه حافظه
می توانید از نمایه حافظه برای تجسم مصرف حافظه در طول زمان شتاب دهنده های خود استفاده کنید.
پلتفرم های پشتیبانی شده
TPU: پشتیبانی می شود
GPU: پشتیبانی می شود
با استفاده از ابزار Memory Profile
نمایه حافظه دارای اجزای زیر است:
- انتخابگر Memory ID در بالای صفحه به شما امکان می‌دهد روی حافظه با پهنای باند بالا (HBM) متصل به یکی از شتاب‌دهنده‌های مختلف که ممکن است به هاست در حال نمایه‌سازی متصل باشد، یا حتی حافظه میزبان در موارد خاص، تمرکز کنید.
- "نمودار جدول زمانی حافظه" و "خلاصه نمایه حافظه" اطلاعات سطح بالایی را در مورد تخصیص حافظه، تخصیص و استفاده در طول جلسه نمایه سازی، از جمله تفکیک در پشته و پشته، و هر گونه تأثیر تکه تکه شدن، جمع آوری می کند.
- جدول تفکیک حافظه اطلاعاتی در مورد عملیات های سطح چارچوب ارائه می دهد که بیشترین سهم را در استفاده از حافظه دارند. همچنین اگر این اطلاعات توسط کامپایلر در اختیار XProf قرار گیرد، جزئیات بیشتری مانند شکل، نوع داده و غیره وجود دارد. جدول این جزئیات را در نقطه اوج استفاده در پنجره پروفایل نشان می دهد تا به رفع اشکال موقعیت های خارج از حافظه (OOM) کمک کند.
- تخصیص‌ها و تخصیص‌ها توسط تخصیص‌دهنده زمان اجرا XLA، که مالک کل فضای حافظه HBM است، مدیریت می‌شوند (و به نمایه اضافه می‌شوند).
- توجه داشته باشید که نمایه حافظه معمولاً برای نمایه‌سازی GPU جالب‌تر و ارزشمندتر از بارهای کاری TPU است. مدل اجرای TPU معمولاً شامل یک تخصیص اولیه بزرگ توسط کامپایلر XLA است، نه در طول آموزش مدل یا استنتاج. بنابراین، اغلب خواهید دید که نمودار تخصیص مانند یک خط افقی صاف به نظر می رسد. تخصیص‌ها احتمالاً در همان ابتدای نمایه رخ داده‌اند (اگر نمایه‌ساز در آن مرحله از اجرا فعال بوده باشد)، که دیدن آنها را سخت می‌کند.
- معیار تکه تکه شدن در خلاصه نمایه حافظه و نمودار جدول زمانی حافظه (به صورت درصد) به شناسایی مشکلات تکه تکه شدن حافظه کمک می کند. مقدار تکه تکه شدن بالا نشان می دهد که اگرچه ممکن است حافظه آزاد به اندازه کافی وجود داشته باشد، اما به هم پیوسته نیست، و بنابراین یک درخواست تخصیص بزرگ ممکن است شکست بخورد.
برخی از تفاوت های کلیدی بین این ابزار و ابزار Memory Viewer:
- Memory Viewer کاملا ثابت است و بر ترتیب برنامه تمرکز دارد. Memory Profile یک نمای پویا را در طول زمان در بازه زمانی نمایه ارائه می دهد.
- Memory Viewer تخصیص حافظه را بر اساس هر ماژول XLA تجسم می کند. برای بارهای کاری متشکل از چندین ماژول XLA، Memory Profile یک نمای کلی از حافظه ارائه می دهد.