العمليات والأجهزة المتوافقة

نوفّر حاليًا نواة وحدة معالجة الرسومات التالية:

• tokamax.dot_product_attention (FlashAttention).
• tokamax.gated_linear_unit (الوحدات الخطية المحجوزة (مثل SwiGLU وما إلى ذلك)).
• tokamax.layer_norm (تسوية الطبقة وتسوية متوسط الجذر التربيعي).

بالنسبة إلى كل من وحدة معالجة الرسومات ووحدة معالجة الموتّرات، يجب استيفاء ما يلي:

• tokamax.ragged_dot (Mixture of Experts).