মেমরি প্রোফাইল টুল
আপনি আপনার এক্সিলারেটরের সময়ের সাথে মেমরির ব্যবহার কল্পনা করতে মেমরি প্রোফাইল ব্যবহার করতে পারেন।
সমর্থিত প্ল্যাটফর্ম
TPU: সমর্থিত
GPU: সমর্থিত
মেমরি প্রোফাইল টুল ব্যবহার করে
মেমরি প্রোফাইলে নিম্নলিখিত উপাদান রয়েছে:
- পৃষ্ঠার শীর্ষে থাকা মেমরি আইডি নির্বাচক আপনাকে হাই ব্যান্ডউইথ মেমরি (HBM) এর উপর ফোকাস করতে দেয় যা বিভিন্ন এক্সিলারেটরের সাথে সংযুক্ত হতে পারে যেটি হোস্টের সাথে সংযুক্ত হতে পারে, এমনকি কিছু ক্ষেত্রে হোস্ট মেমরিতেও।
- "মেমরি টাইমলাইন গ্রাফ" এবং "মেমরি প্রোফাইল সারাংশ" প্রোফাইলিং সেশনের সময় মেমরি বরাদ্দ, ডিলোকেশন এবং ব্যবহার সম্পর্কে উচ্চ-স্তরের তথ্য ক্যাপচার করে, যার মধ্যে স্ট্যাক এবং হিপ জুড়ে ভাঙ্গন এবং ফ্র্যাগমেন্টেশনের যে কোনও প্রভাব রয়েছে।
- মেমরি ব্রেকডাউন টেবিল ফ্রেমওয়ার্ক-লেভেল অপ্স সম্পর্কে তথ্য প্রদান করে যা মেমরি ব্যবহারে সবচেয়ে বেশি অবদান রাখে। এছাড়াও অতিরিক্ত প্রতি-অপারেশন বিশদ যেমন আকৃতি, ডেটা টাইপ ইত্যাদি রয়েছে, যদি এই তথ্যটি কম্পাইলার দ্বারা XProf-এর কাছে উপলব্ধ করা হয়। আউট অফ মেমরি (OOM) পরিস্থিতিতে ডিবাগিং করতে সাহায্য করার জন্য, প্রোফাইলিং উইন্ডোর মধ্যে সর্বোচ্চ ব্যবহারের বিন্দুতে টেবিলটি এই বিবরণগুলি দেখায়।
- XLA-এর রানটাইম বরাদ্দকারীর দ্বারা বরাদ্দ এবং ডিলোকেশনগুলি পরিচালিত হয় (এবং প্রোফাইলে যোগ করা হয়), যা সম্পূর্ণ HBM মেমরি স্পেসের মালিক।
- মনে রাখবেন যে মেমরি প্রোফাইল সাধারণত TPU কাজের চাপের তুলনায় GPU প্রোফাইলিংয়ের জন্য আরও আকর্ষণীয় এবং মূল্যবান। TPU সঞ্চালন মডেল সাধারণত মডেল প্রশিক্ষণ বা অনুমানের পরিবর্তে XLA কম্পাইলার দ্বারা একটি বড় অগ্রিম বরাদ্দ জড়িত থাকে। অতএব, আপনি প্রায়শই দেখতে পাবেন যে বরাদ্দ চার্টটি একটি সমতল অনুভূমিক রেখার মতো দেখাচ্ছে; বরাদ্দগুলি সম্ভবত প্রোফাইলের একেবারে শুরুতে ঘটেছিল (যদি প্রোফাইলারটি সেই সময়ে সক্রিয় থাকে), সেগুলি দেখতে কঠিন করে তোলে।
- মেমরি প্রোফাইল সারাংশে ফ্র্যাগমেন্টেশন মেট্রিক এবং মেমরি টাইমলাইন গ্রাফ (শতাংশ হিসাবে) মেমরি ফ্র্যাগমেন্টেশন সমস্যা সনাক্ত করতে সাহায্য করে। একটি উচ্চ ফ্র্যাগমেন্টেশন মান ইঙ্গিত দেয় যে যদিও যথেষ্ট মোট ফ্রি মেমরি থাকতে পারে, তবে এটি সংলগ্ন নয়, এবং এইভাবে একটি বড় বরাদ্দ অনুরোধ ব্যর্থ হতে পারে।
এই টুল এবং মেমরি ভিউয়ার টুলের মধ্যে কিছু মূল পার্থক্য:
- মেমরি ভিউয়ার সম্পূর্ণরূপে স্থির এবং প্রোগ্রামের ক্রম উপর ফোকাস করে; মেমরি প্রোফাইল প্রোফাইলিং ব্যবধানে সময়ের সাথে একটি গতিশীল দৃশ্য প্রদান করে।
- মেমরি ভিউয়ার প্রতি-এক্সএলএ-মডিউল ভিত্তিতে মেমরি বরাদ্দগুলি কল্পনা করে; একাধিক XLA মডিউল সমন্বিত কাজের চাপের জন্য, মেমরি প্রোফাইল মেমরির একটি বিশ্বব্যাপী দৃশ্য প্রদান করে।