サポートされている運用とハードウェア

現在サポートされている GPU カーネルは次のとおりです。

• tokamax.dot_product_attention (FlashAttention)。
• tokamax.gated_linear_unit （ゲート付き線形ユニット（SwiGLU など））。
• tokamax.layer_norm （レイヤ正規化と二乗平均平方根正規化）。

GPU と TPU の両方で次の操作を行います。

• tokamax.ragged_dot （Mixture of Experts）。