כלי לניתוח ביצועי הזיכרון

אפשר להשתמש ב'פרופיל זיכרון' כדי להציג גרפית את השימוש בזיכרון של המאיצים לאורך זמן.

פלטפורמות נתמכות

TPU: נתמך

GPU: נתמך

שימוש בכלי ליצירת פרופיל זיכרון

פרופיל הזיכרון כולל את הרכיבים הבאים:

• הבורר של מזהה הזיכרון בחלק העליון של הדף מאפשר לכם להתמקד בזיכרון בעל רוחב הפס גבוה (HBM) שמחובר לאחד מהמאיצים השונים שעשויים להיות מחוברים למארח שנוצר לו פרופיל, או אפילו בזיכרון המארח במקרים מסוימים.
• ב'תרשים ציר הזמן של הזיכרון' וב'סיכום פרופיל הזיכרון' מוצג מידע ברמה גבוהה על הקצאות, ביטולים והשימוש בזיכרון במהלך סשן היצירה של הפרופיל, כולל פירוט של סטאק ושל אשכול, והשפעה כלשהי של פיצול.
• בטבלת פירוט הזיכרון מוצג מידע על פעולות ברמת המסגרת שתורמות הכי הרבה לשימוש בזיכרון. יש גם פרטים נוספים לכל פעולה, כמו הצורה, סוג הנתונים וכו', אם המידע הזה זמין למהדר ב-XProf. הפרטים האלה מוצגים בטבלה בנקודת השימוש השיא בחלון הפרופיל, כדי לעזור בניפוי באגים במצבים של מחסור בזיכרון (OOM).
• הקצאות וביטולי הקצאות מנוהלים (ומוסיפים לפרופיל) על ידי מנהל הקצאות זמן הריצה של XLA, שבבעלותו כל נפח הזיכרון של HBM.
• חשוב לזכור שפרופיל הזיכרון בדרך כלל מעניין ושימושי יותר ליצירת פרופילים של GPU מאשר לעומסי עבודה של TPU. מודל הביצועים של TPU כולל בדרך כלל הקצאה גדולה מראש על ידי מהדר XLA, ולא במהלך אימון המודל או ההסקה. לכן, לרוב התרשים של ההקצאות נראה כמו קו אופקי שטוח. סביר להניח שההקצאות התרחשו ממש בתחילת הפרופיל (אם הכלי למעקב אחר ביצועים היה פעיל בשלב הזה של הריצה), ולכן קשה לראות אותן.
• המדד 'פיצול' בסיכום של פרופיל הזיכרון ובתרשים ציר הזמן של הזיכרון (באחוזים) עוזר לזהות בעיות של פיצול זיכרון. ערך פירוט גבוה מציין שלמרות שיכול להיות שיש מספיק זיכרון פנוי, הוא לא רציף, ולכן בקשת הקצאה גדולה עשויה להיכשל.

יש כמה הבדלים עיקריים בין הכלי הזה לבין הכלי 'תצוגת זיכרון':

• 'תצוגת הזיכרון' היא סטטית לחלוטין ומתמקדת בסדר התוכניות. 'פרופיל הזיכרון' מספק תצוגה דינמית לאורך זמן במהלך מרווח הזמן ליצירת הפרופיל.
• ב-Memory Viewer מוצגת תצוגה חזותית של הקצאות הזיכרון לכל מודול XLA. לעומסי עבודה שמכילים כמה מודולים של XLA, פרופיל הזיכרון מספק תצוגה גלובלית של הזיכרון.