تصميم المكتبات
تم تصميم Tokamax لتوحيد وتبسيط رحلات المطوّرين المعتادة في ما يتعلّق بإنشاء النواة وتحسينها وصيانتها واستخدامها في الإنتاج. ويتم ذلك من خلال الفئات الأساسية والبنية الأساسية المشتركة التي ترثها جميع عوامل التشغيل في المكتبة وتنفذها ضمن إطار عمل منظم بشكل جيد.
طبقات المشغِّلين
Tokamax Base Class
tokamax.Op
هي الفئة الأساسية في Tokamax، وتُعدّ الأساس لكل عامل تشغيل في المكتبة. عند استدعاء أي عامل مشتق، تتعامل هذه الطبقة تلقائيًا مع الوظائف التالية:
- ربط الوسيطات: قبل تنفيذ أي عملية حسابية، يعمل الصنف الأساسي على تسوية
وسيطات المتصل والتحقّق من صحتها في تمثيل أساسي واحد
بحيث يمكن للتخزين المؤقت والأساليب الإرشادية وتنفيذ النواة أن تستدل على
حجم العمل بشكل موحد (من خلال كائن
BoundArguments)، بغض النظر عن كيفية تمرير المدخلات (انظرop.bind()). - التحقّق من الجهاز: لاكتشاف حالات عدم توافق الأجهزة مبكرًا، يتحقّق المشغّل من توافق الجهاز مع المسرّع المستهدَف قبل التشغيل، مع السماح بتجاوز هذا التحقّق عند إجراء تجميع متقاطع من مضيف وحدة المعالجة المركزية (راجِع
op.supported_on()وbypass_device_check=Trueوconfig.cross_compile(True)). - التقاط الدفعات: نظرًا لأنّ أفضل إعدادات النواة
(
Config) غالبًا ما تعتمد على حجم المشكلة المجمّعة بالكامل بدلاً من شريحة واحدة، يلتقط الصنف الأساسي أبعاد الدفعات المحيطة عندما يتم تحويل عامل التشغيل إلى متجه (jax.vmap) بحيث يمكن لذاكرة التخزين المؤقت الإرشادية والضبط التلقائي تحسين شكل عبء العمل الحقيقي (انظرop._capture_batched_args()). - دقة الإعدادات: لتقديم أداء قوي بدون الحاجة إلى ضبط يدوي، يحلّ الصنف الأساسي المَعلمات الفائقة للنواة تلقائيًا عندما لا يوفّرها المتصل، وذلك من خلال إعادة استخدام الإعدادات التي تم ضبطها تلقائيًا في ذاكرة تخزين مؤقت مستندة إلى القرص إذا كانت متاحة، أو من خلال الرجوع إلى الأساليب الإرشادية المضمّنة (يُرجى الاطّلاع على
BoundArguments.default_config). - تسلسل البيانات الوصفية في StableHLO: لجعل البرامج المجمّعة
قابلة للفحص من أجل إنشاء الملفات الشخصية بلا إنترنت والضبط الآلي، يضمّن الصنف الأساسي
البيانات الوصفية للمشغّل في الرسم البياني المنخفض المستوى حتى تتمكّن الأدوات اللاحقة من
إعادة إنشاء المشغّلات التي تم تشغيلها والمدخلات التي تم استخدامها (الأشكال والأنواع وما إلى ذلك)
مباشرةً من وحدة مجمّعة أو ملف شخصي للأداء (يُرجى الاطّلاع على
_tokamax_metadata()). - التنفيذ الأمامي وVJP المخصّص: نظرًا لأنّ نواة الأجهزة المتخصّصة غالبًا لا يمكن تمييزها بكفاءة من خلال التفاضل التلقائي العادي، ينسّق الصنف الأساسي التنفيذ الأمامي والخلفي كزوج، ما يسمح للتمرير الأمامي بتمرير القيم الوسيطة مباشرةً إلى نواة خلفية مخصّصة أثناء حساب التدرج (انظر
op._fwd()) واستدعاءاتjax.custom_vjp.
صنف أساسي خاص بالعملية
تحدّد كل مجموعة من مجموعات عوامل التشغيل صنفها الأساسي الذي يرث من صنف عامل التشغيل الأساسي ويضع العقد المشترك بين جميع الخلفيات (على سبيل المثال، راجِع RaggedDot):
- التنفيذ المرجعي: يوفّر كل صنف أساسي للمشغّل تنفيذًا مرجعيًا محمولاً ونقيًا من JAX للمواصفات الرياضية الكاملة، بما في ذلك التدرجات عند الاقتضاء. ويُعدّ هذا بمثابة معلومات فعلية لاختبارات الصحة الرقمية ويضمن توفير حلّ بديل يعمل على أي جهاز (يُرجى الاطّلاع على
RaggedDot._fwd()). - الربط الأساسي: بما أنّ المستخدمين يمكنهم التعبير عن العملية الحسابية نفسها بطرق متعددة، مثل تمرير أشكال مختلفة من الأقنعة أو إعدادات الدقة أو مواصفات الأبعاد، فإنّ الصنف الأساسي للمشغّل يوحّد المدخلات ويتحقّق من توافق الشكل والنوع مسبقًا، وبالتالي لا يتعيّن على الخلفيات البرمجية للأجهزة الفردية سوى التعامل مع تنسيق إدخال واحد يمكن توقّعه (يُرجى الاطّلاع على
RaggedDot.bind()).
فئات تنفيذ العمليات
وتوفّر هذه الفئات عمليات تنفيذ النواة الخاصة بالأجهزة، ويمكن للمستخدمين إنشاء مثيل لها واستدعاؤها مباشرةً. يرث كل تنفيذ من
الصنف الأساسي الخاص بالمشغّل ويوفر السلوك الخاص بالخلفية (على
سبيل المثال، راجِع
PallasMosaicTpuRaggedDot):
- الوظيفة الأساسية: يتم هنا تحديد تنفيذ نواة الأجهزة الفعلية، عادةً باستخدام لغة نواة مثل Pallas. عندما تتطلب عملية ما تمريرًا خلفيًا متخصصًا، عادةً ما يتم تصميم نواة التدرج على أنها تنفيذ مشغل من الدرجة الأولى بحيث يمكن تكوينها وضبطها واختبارها بشكل مستقل. على الرغم من أنّ رمز النواة الأدنى مستوى غالبًا ما يتم تضمينه في ملف مساعد منفصل لضمان الوحدات، فإنّ هذه الفئة تعمل كواجهة أساسية لاستدعاء تلك النواة (راجِع
PallasMosaicTpuRaggedDot._fwd()). - الإعداد: بما أنّ نواة الأجهزة غالبًا ما تعرض عناصر تحكّم في الأداء، مثل أحجام المربّعات أو مراحل المسار أو استراتيجيات تخزين الذاكرة المؤقتة، تحدّد كل واجهة خلفية بنية إعداد مخصّصة تتيح للمستخدمين أو الأدوات المبرمَجة التحكّم في كيفية تقسيم النواة وتجميعها وتنفيذها (يُرجى الاطّلاع على
Config). - الأساليب الإرشادية: لم يتم ضبط كل مهام العمل تلقائيًا مسبقًا، لذا يوفّر كلّ برنامج خلفي أساليب إرشادية مدمجة تختار مَعلمات ضبط تلقائية معقولة استنادًا إلى أبعاد المشكلة وأنواع البيانات ومواصفات المسرّع (يُرجى الاطّلاع على
_get_heuristics_config()). - مساحة البحث عن الضبط التلقائي: بالنسبة إلى أعباء العمل التي يكون فيها الأداء الأقصى مهمًا،
يحدّد كلّ برنامج خلفي مساحة بحث عن الضبط التلقائي لمجموعات المَعلمات الصالحة
لشكل مشكلة معيّن، ما يسمح لأداة الضبط التلقائي بقياس أداء
المرشحين واكتشاف أسرع إعداد (راجِع
_get_autotuning_configs()). - التحقّق من صحة التنفيذ: غالبًا ما تكون متطلبات نواة الأجهزة أكثر صرامة من العمليات الحسابية العامة، مثل قواعد محاذاة الأبعاد أو الدعم المحدود لأنواع البيانات. Each implementation
validates these constraints and signals when a workload cannot be handled,
allowing higher-level dispatchers to fall back gracefully to another backend
(see
PallasMosaicTpuRaggedDot._fwd()).
واجهة برمجة تطبيقات عالية المستوى
تحتوي معظم عوامل التشغيل على خلفيات متعددة، مثل تنفيذ مرجعي محمول إلى جانب نواة واحدة أو أكثر خاصة بالأجهزة، وتكشف عن نقطة دخول واحدة مألوفة وعالية المستوى (على سبيل المثال، دالة jax.lax عادية). تم تصميم هذه الطبقة
لتزويد المستخدمين بواجهة بسيطة وسهلة الاستخدام تختار تلقائيًا
أفضل واجهة خلفية متوافقة مع أجهزتهم وأشكال الإدخال، مع السماح لهم
بطلب تنفيذ محدّد عند الرغبة (يُرجى الاطّلاع على
tokamax.ragged_dot()).
ArgSpecs
يُعدّ الاحتفاظ بكتالوج مشترك لأشكال أعباء العمل المهمة أمرًا ضروريًا
لاختبار النواة وتحسينها باستمرار على مستوى الخلفيات. يلتقط Tokamax
أشكال الإنتاج والمعايير التمثيلية هذه كمواصفات لأعباء العمل
التي تتم مشاركتها عبر جميع عمليات تنفيذ المشغّل. يوفّر ذلك لاختبارات الدمج المستمر ومقاييس الانحدار ومسارات الضبط التلقائي مصدرًا وحيدًا للحقيقة يمكن فلترته حسب العلامات لمختلف مهام سير العمل (راجِع ArgSpecs لـ ragged_dot).
بنية المستودع
يتوفّر رمز التنفيذ الداخلي ضمن شجرة المصدر الخاصة (يُرجى الاطّلاع على
tokamax/_src)،
بينما تتم إعادة تصدير الرموز العامة للمشغّلات والضبط التلقائي وقياس الأداء والإعدادات
من خلال الوحدات ذات المستوى الأعلى (يُرجى الاطّلاع على
tokamax/__init__.py).
ضمن كل دليل مشغّل (يُرجى الاطّلاع على
tokamax/_src/ops)،
تتّبع الملفات اصطلاح تسمية متّسقًا، موضّحًا هنا باستخدام النقطة غير المنتظمة:
- واجهة برمجة التطبيقات العالية المستوى: تحدّد نقطة الدخول الوظيفية العامة ومنطق الإرسال في الخلفية (يُرجى الاطّلاع على
api.py). - الصنف الأساسي الخاص بالعملية: يحدّد التنفيذ المرجعي المحمول (يُرجى الاطّلاع على
base.py). - عمليات التنفيذ في الخلفية: تحدّد فئات المشغِّلين والإعدادات والأساليب الإرشادية ومساحات الضبط التلقائي الخاصة بالأجهزة (يُرجى الاطّلاع على
pallas_mosaic_tpu.py). - النواة المنخفضة المستوى: تفصل عمليات تنفيذ النواة المستقلة والمساعدين المشتركين المنخفضي المستوى إلى وحدات مصاحبة (يُرجى الاطّلاع على
pallas_mosaic_tpu_kernel.py). - مواصفات أعباء العمل: تضع كتالوجات لأشكال الإدخال الأساسية من أجل الاختبار
والقياس والضبط التلقائي (يُرجى الاطّلاع على
arg_specs.py). - الحزم الاختبارية: تحدّد عمليات التحقّق من الصحة المشتركة المستندة إلى المَعلمات إلى جانب الحزم الاختبارية لكل واجهة خلفية (يُرجى الاطّلاع على
test_base.py).
تتبع العمليات داخل الدليل experimental بنية مماثلة، ولكن قد لا يتم عرضها في واجهة برمجة التطبيقات العامة. هذه العمليات مخصّصة للتكرار السريع والاستكشاف، وقد تتغيّر بشكل متكرّر وكبير، مع توقّعات أقل بشكل عام في ما يتعلّق بالصيانة والدعم المستمرَّين.
أي طبقة يجب أن يستدعيها المستخدمون؟
يعد اختيار نقطة الدخول في الأساس مقايضة بين الراحة والتحكم. يجب أن يبدأ معظم المستخدمين باستدعاء عوامل التشغيل من خلال واجهة برمجة التطبيقات الوظيفية عالية المستوى، والتي توفر واجهة نمط مألوفة وتختار تلقائيًا تنفيذًا مناسبًا للواجهة الخلفية. عند الحاجة إلى اختيار الخلفية الحتمية، يمكن للمستخدمين تمرير خيار تنفيذ صريح إلى الدالة عالية المستوى مع الاحتفاظ بنفس توقيع الاستدعاء. وللتحكّم بشكل كامل، يمكن للمستخدمين إنشاء فئة تنفيذ عامل تشغيل محدّد مباشرةً لتخصيص المَعلمات الفائقة للنواة، مثل أحجام المربّعات، وتمرير الوسيطات الخاصة بالخلفية.
لا يُنصح باستدعاء دوال النواة ذات المستوى المنخفض مباشرةً بدون استخدام فئة تنفيذ عامل التشغيل. يؤدي ذلك إلى تجاوز البنية الأساسية الأساسية، بما في ذلك الضبط التلقائي والتحقق من صحة الإدخال وتحديد عنوان URL الأساسي وتسلسل البيانات الوصفية، بدون تقديم أي توفير مفيد في النفقات العامة، لأنّ برامج تضمين المشغّلات خفيفة الوزن عن قصد. في حال عدم توفّر مَعلمات فائقة مناسبة تم ضبطها تلقائيًا، على سبيل المثال، من المرجّح أن يلاحظ المستخدمون أداءً دون المستوى المطلوب بشكل كبير.
موضوعات متقدمة
Operator Fusion
تتيح عوامل تشغيل Fusible Pallas TPU دمج مقدّمات وخاتمات JAX المحيطة مباشرةً في النواة من خلال @tokamax.ops.op_fusion.fuse. يُرجى الاطّلاع على دليل Operator Fusion للحصول على أمثلة على الاستخدام وتعليمات حول إنشاء نواة متوافقة مع الدمج وفئات فرعية من Op.
نشر الحلقات على نحو متسلسِل
يمكن تسلسل النواة إلى StableHLO. Kernel
calls are JAX custom calls, which are by default banned in jax.export,
requiring the use of
tokamax.DISABLE_JAX_EXPORT_CHECKS to allow all Tokamax kernels to be exported:
from jax import export
f_grad_exported = export.export(f_grad, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
jax.ShapeDtypeStruct(scale.shape, scale.dtype),
)
يُرجى العِلم أنّ الدوال التي يتم تسلسلها باستخدام نواة Tokamax تفقد استقلالية الجهاز الخاصة بـ StableHLO العادي. يقدّم Tokamax ضمانَين للتسلسل:
- سيتم ضمان تشغيل دالة تم إلغاء تسلسلها على جهاز معين على الجهاز الذي تم تسلسلها من أجله بالضبط.
- يوفّر Tokamax ضمانات التوافق نفسها التي يوفّرها JAX: التوافق مع الأنظمة القديمة لمدة 6 أشهر.
التجميع المتبادل وتصدير وحدة المعالجة المركزية
يمكن تصدير نواة Tokamax أو تجميعها على مضيف وحدة المعالجة المركزية:
- يؤدي اختيار التنفيذ الصريح (مثل
implementation="mosaic_tpu_v2") إلى تجاوز عملية التحقّق من الجهاز المضيف تلقائيًا. - بدلاً من ذلك، يمكنك تفعيل التجميع المتبادل على مستوى العالم باستخدام
tokamax.config.cross_compile(True):
with tokamax.config.cross_compile(True):
f_exported = export.export(
f, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS
)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
...,
)