지원되는 운영체제 및 하드웨어

현재 지원되는 GPU 커널은 다음과 같습니다.

• tokamax.dot_product_attention (FlashAttention)
• tokamax.gated_linear_unit (게이트 선형 유닛 (SwiGLU 등))
• tokamax.layer_norm (레이어 정규화 및 평균 제곱근 정규화).

GPU와 TPU 모두에 다음이 적용됩니다.

• tokamax.ragged_dot (Mixture of Experts)