XLA (Accelerated Linear Algebra) è un compilatore open source per il machine learning. Il compilatore XLA prende modelli da framework popolari come PyTorch, TensorFlow e JAX e ottimizza i modelli per l'esecuzione ad alte prestazioni su diverse piattaforme hardware, tra cui GPU, CPU e acceleratori ML. Ad esempio, in un invio BERT MLPerf, l'utilizzo di XLA con 8 GPU Volta V100 ha ottenuto un miglioramento delle prestazioni di circa 7 volte e un miglioramento delle dimensioni di batch di circa 5 volte rispetto alle stesse GPU senza XLA.
Nell'ambito del progetto OpenXLA, XLA è stato sviluppato in collaborazione da aziende di hardware e software ML leader del settore, tra cui Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta e NVIDIA.
Vantaggi principali
Crea ovunque: XLA è già integrato nei principali framework di machine learning come TensorFlow, PyTorch e JAX.
Esecuzione ovunque: supporta vari backend tra cui GPU, CPU e acceleratori ML e include un'infrastruttura collegabile per aggiungere supporto per altri dispositivi.
Massimizza e scala le prestazioni: ottimizza le prestazioni di un modello con passaggi di ottimizzazione testati per la produzione e il partizionamento automatico per il parallelismo del modello.
Elimina la complessità: sfrutta la potenza di MLIR per riunire le migliori funzionalità in un'unica toolchain per il compilatore, in modo da non dover gestire una serie di compilatori specifici del dominio.
Predisposizione per il futuro: in quanto progetto open source, realizzato tramite la collaborazione di fornitori di hardware e software ML leader del settore, XLA è progettato per operare all'avanguardia del settore ML.
Documentazione
Per saperne di più su XLA, dai un'occhiata ai link sulla sinistra. Se sei un nuovo sviluppatore XLA, ti consigliamo di iniziare con l'architettura XML e poi di leggere Recensioni del codice.