इस सुविधा के साथ काम करने वाले ओएस और हार्डवेयर

फ़िलहाल, हम इन जीपीयू कर्नल के साथ काम करते हैं:

• tokamax.dot_product_attention (FlashAttention).
• tokamax.gated_linear_unit (Gated linear units (SwiGLU वगैरह)).
• tokamax.layer_norm (लेयर नॉर्मलाइज़ेशन और रूट मीन स्क्वेयर्ड नॉर्मलाइज़ेशन).

साथ ही, जीपीयू और टीपीयू, दोनों के लिए ये बातें लागू होती हैं:

• tokamax.ragged_dot (Mixture of Experts).