מערכות הפעלה וחומרה נתמכות

כרגע אנחנו תומכים בקרנלים הבאים של GPU:

• tokamax.dot_product_attention (FlashAttention).
• tokamax.gated_linear_unit (Gated linear units (SwiGLU etc)).
• tokamax.layer_norm (נירמול שכבה ונירמול שורש ממוצע ריבועי).

בנוסף, צריך להוסיף את השורות הבאות גם ל-GPU וגם ל-TPU:

• tokamax.ragged_dot (Mixture of Experts).