-mpmd-convert-sdy-constants

sdy.constant ops কে stablehlo.constant এ রূপান্তর করে।

যে কোনো sdy.constant অপকে রূপান্তরিত করে, যা ভাঁজ করা যায় না, একটি stablehlo.constant অপে। ধ্রুবক ভাঁজ প্রতিরোধ করার কোন কারণ নেই যেহেতু আমরা mpmd-convert-sdy-shardings-to-mpmd-types ধ্রুবকগুলি থেকে শার্ডিংগুলি সরিয়ে ফেলছি৷

-mpmd-convert-sdy-shardings-to-mpmd-types

শার্ডিংগুলিকে op attrs থেকে !mpmd.mesh_tensor প্রকারে নিয়ে যায়।

MPMD ops এর বৈশিষ্ট্য (যেমন টুকরো, স্থানান্তর) থেকে শার্ডিংগুলিকে তাদের ফলাফলের MeshTensorType এ নিয়ে যায়। ধরে নিচ্ছি আমরা এই পাসের আগে SDY প্রচার প্রয়োগ করি, SPMD শার্ডিংগুলি অপের বৈশিষ্ট্যগুলির সাথে সংযুক্ত থাকে। এই পাসটি শার্ডিংটিকে MeshTensorType s-এ নিয়ে যায় কারণ পরবর্তী পাসগুলিতে টাইপটিতে একটি শার্ডিং থাকা প্রয়োজন৷

এই পাসটি অপ্স থেকে যেকোনও শার্ডিং মুছে দেয় যেখানে MeshTensorType নেই, অর্থাৎ, mpmd.fragment ops এর ভিতরে ops।

-mpmd-enforce-user-shardings

ইনপুট এবং আউটপুটগুলির জন্য ব্যবহারকারীর নির্দিষ্ট শার্ডিংগুলি প্রয়োগ করে৷

ফ্র্যাগমেন্টের ইনপুট এবং আউটপুট শার্ডিংগুলি প্রয়োগ করে যেগুলি যথাক্রমে ফাংশন আর্গুমেন্ট নেয় বা ফাংশন ফলাফল তৈরি করে, ব্যবহারকারীর দ্বারা নির্দিষ্ট করা হয়, যেমন, ফাংশনের ইনপুট এবং আউটপুট শার্ডিংগুলি।

এই পাসের পরে, ফাংশন আর্গুমেন্টের ফ্র্যাগমেন্ট এবং ট্রান্সফার ব্যবহারকারী এবং ফাংশন ফলাফলের প্রযোজকদের একই শার্ডিংগুলি ব্যবহারকারীর দ্বারা নির্দিষ্ট করা উচিত। যদি ব্যবহারকারী একটি ইনপুট বা আউটপুটের জন্য একটি শার্ডিং নির্দিষ্ট না করে থাকে, তাহলে এই পাসটি সেই প্রচারের বরাদ্দ করা শার্ডিংটিকে রাখে।

পূর্বশর্ত:

• ব্যবহারকারীর শার্ডিংগুলি ফাংশনের আর্গুমেন্ট এবং ফলাফলের বৈশিষ্ট্য হিসাবে সেট করা হয়।
• ফ্র্যাগমেন্ট শার্ডিংগুলি in_shardings এবং out_shardings বৈশিষ্ট্যগুলিতে সেট করা হয়।

-mpmd-extract-reshards-from-inter-mesh-transfers

একটি আন্তঃজাল স্থানান্তরের চারপাশে SPMD রিশার্ডিংকে একটি খণ্ডের ভিতরে নিয়ে যায়।

প্রযোজক/ভোক্তা খণ্ডের ধরন আপডেট করে অথবা নন-ফ্র্যাগমেন্ট প্রযোজক/ভোক্তাদের জন্য অনুমানকৃত টুকরো তৈরি করে সমস্ত আন্তঃ-জাল স্থানান্তর (SPMD) অ্যারেকে পুনরায় ভাগ করে না (তাদের ইন এবং আউট শার্ডিং একই) নিশ্চিত করে।

MPMD রানটাইম সমর্থিত রিশার্ডিংয়ের সীমাবদ্ধতা থাকায় এটি প্রয়োজন।

এই পাসটি শুধুমাত্র MPMD ফাংশনগুলিতে গ্লোবাল ভিউতে এবং একটি সমজাতীয় টপোলজিতে প্রয়োগ করা হয়।

পূর্বশর্ত: সমস্ত শার্ডিং অপ এট্রিবিউট হিসাবে নির্দিষ্ট করা হয় এবং প্রকারে নয়।