মেগাস্কেল এক্সএলএ

MegascaleXLA হলো একটি কম্পাইলার ও রানটাইম সিস্টেম যা বৃহৎ পরিসরে TPU ট্রেনিং পরিচালনা করে। এটি সম্মিলিত যোগাযোগের মৌলিক উপাদানগুলো প্রয়োগ করে, যা একাধিক TPU স্লাইসকে একে অপরের সাথে যোগাযোগ করতে দেয়। এর ফলে এমন ট্রেনিং জব চালানো সম্ভব হয় যা একটিমাত্র ICI ডোমেইনের সীমা ছাড়িয়ে যায়।

এই ডিবাগিং গাইডে আলোচনা করা হয়েছে কীভাবে মেগাস্কেল দ্বারা চালিত একটি মাল্টি-স্লাইস জবে ধীরগতি, হ্যাং বা ত্রুটির মতো পারফরম্যান্স সমস্যার উৎস শনাক্ত ও নির্ণয় করা যায়।

মেগাস্কেল পারফরম্যান্স টিউনিং ফ্ল্যাগস গাইডটিতে বিস্তারিতভাবে বর্ণনা করা হয়েছে কীভাবে মেগাস্কেল XLA ফ্ল্যাগগুলি কনফিগার ও টিউন করে সম্মিলিত যোগাযোগের পারফরম্যান্স অপ্টিমাইজ করা যায় এবং মাল্টি-স্লাইস ওয়ার্কলোডের প্রতিবন্ধকতাগুলি দূর করা যায়।

পরিভাষা

• স্লাইস

  • একটি স্লাইস হলো একই TPU পডের অভ্যন্তরে অবস্থিত চিপগুলির একটি সমষ্টি, যা উচ্চ-গতির ইন্টার-চিপ ইন্টারকানেক্ট (ICI) দ্বারা সংযুক্ত থাকে। TPU সংস্করণের উপর নির্ভর করে স্লাইসগুলিকে চিপ বা টেনসরকোর হিসাবে বর্ণনা করা হয়।
  • মাল্টিস্লাইস হলো একাধিক স্লাইসের একটি সমষ্টি, যা ইন্টার-চিপ ইন্টারকানেক্ট (ICI) সংযোগের বাইরে TPU কানেক্টিভিটি প্রসারিত করে এবং একটি স্লাইসের বাইরে ডেটা প্রেরণের জন্য ডেটা-সেন্টার নেটওয়ার্ক (DCN) ব্যবহার করে। প্রতিটি স্লাইসের অভ্যন্তরে ডেটা অবশ্য ICI-এর মাধ্যমেই প্রেরিত হয়। এই হাইব্রিড কানেক্টিভিটি ব্যবহার করে, মাল্টিস্লাইস স্লাইসগুলোর মধ্যে প্যারালালিজম সক্ষম করে এবং একটি একক স্লাইসের ধারণক্ষমতার চেয়ে বেশি সংখ্যক TPU কোর একটিমাত্র কাজের জন্য ব্যবহার করার সুযোগ দেয়।
  • টিপিইউ ব্যবহার করে একটি কাজ একক স্লাইসে অথবা একাধিক স্লাইসে চালানো যায়।

• র‍্যাপিডআই

  • RapidEye হলো এমন একটি সিস্টেম যার লক্ষ্য হলো ত্রুটিপূর্ণ হার্ডওয়্যার বা সফটওয়্যার বাগের কারণে সৃষ্ট সমস্যাগুলো দ্রুত শনাক্ত ও তার মূল কারণ খুঁজে বের করার জন্য একটি বৈশ্বিক এমএল ডিবাগিং পরিকাঠামো প্রদান করা। এটি মেগাস্কেল জবগুলো পর্যবেক্ষণ করে স্বয়ংক্রিয়ভাবে হ্যাং ইভেন্টগুলো শনাক্ত, বিশ্লেষণ এবং শ্রেণিবদ্ধ করে। এই প্রক্রিয়ার মধ্যে রয়েছে সমস্ত জব ওয়ার্কারদের কাছ থেকে ডেটা সংগ্রহ করা, হ্যাং ঘটলে প্রতিক্রিয়া সমন্বয় করা এবং প্রতিটি ইভেন্টের জন্য একটি সামারি ডাইজেস্ট ফাইল তৈরি করা।
  • সকল মাল্টিস্লাইস ওয়ার্কলোডের জন্য RapidEye ডিফল্টরূপে সক্রিয় থাকে। এর ডায়াগনোসিস Pathways রিসোর্স ম্যানেজার অথবা MXLA কোঅর্ডিনেটরের অধীনে পাওয়া যায় (মাল্টি-কন্ট্রোলার JAX ওয়ার্কলোডের জন্য slice0 task0)। এছাড়াও, ফ্লিটওয়াইড RapidEye ডেটার উপর ভিত্তি করে ত্রুটিপূর্ণ TPU এবং NIC স্বয়ংক্রিয়ভাবে অপসারণের জন্য RapidEye ব্যবহৃত হয়।

• মেগাস্কেল কালেক্টিভ

  • XLA কালেক্টিভগুলো মেগাস্কেল XLA (MXLA) প্রিমিটিভের মাধ্যমে সমর্থিত, যা সাধারণ ব্যবহারকারী সরাসরি ব্যবহার করতে পারেন না। এই লেখাটি লেখার সময়, MXLA প্রিমিটিভগুলোর মধ্যে AllGather, AllReduce, AllToAll, ReduceScatter এবং OneToOne অন্তর্ভুক্ত রয়েছে। বর্তমানে সমর্থিত রিডাকশন অপারেশনগুলোর মধ্যে রয়েছে সামেশন, ম্যাক্স/মিন এবং প্রোডাক্ট।