支援的作業系統和硬體

我們目前支援下列 GPU 核心:

GPU 和 TPU 則適用下列條件:

  • tokamax.ragged_dot (專家混合模型)。