Un ecosistema aperto di componenti dell'infrastruttura di machine learning (ML) portabile ed estensibile ad alte prestazioni che semplifica lo sviluppo ML deframmentando gli strumenti tra framework di frontend e backend hardware. Creato dai leader del settore in ambito di modellazione dell'IA, software e hardware.
Un compilatore di machine learning (ML) per GPU, CPU e acceleratori ML.
Set operativo portatile per l'esportazione del framework, l'input del compilatore e l'abbassamento indipendente dall'hardware.
Un'interfaccia indipendente da hardware e framework per i compilatori e i runtime ML.

Unisciti alla community OpenXLA

Iscriviti alla mailing list openxla-announce per ricevere notizie su uscite, eventi e altri aggiornamenti importanti.
Partecipa alla mailing list openxla-Discussione per discussioni su progettazione e sviluppo.
Rivedi gli appunti delle riunioni precedenti e aggiungi le prossime riunioni al tuo calendario.
Visita il progetto OpenXLA e i repository su GitHub.

Dai il tuo contributo a OpenXLA

Questi tutorial ti aiuteranno a iniziare come collaboratore di OpenXLA.
XLA (Accelerated Linear Algebra) è un compilatore open source per il machine learning. Il compilatore XLA prende i modelli da framework popolari come PyTorch, TensorFlow e JAX e ottimizza i modelli per l'esecuzione ad alte prestazioni su diverse piattaforme hardware, tra cui GPU, CPU e acceleratori ML.
Inizia a sviluppare il progetto XLA.
StableHLO è un insieme di operazioni per operazioni di alto livello (HLO) nei modelli di machine learning (ML). Essenzialmente, è un livello di portabilità tra diversi framework ML e compilatori ML: i framework ML che producono programmi StableHLO sono compatibili con i compilatori ML che utilizzano programmi StableHLO.
Documentazione di riferimento per le operazioni XLA e StableHLO.

Partner del settore

Il progetto OpenXLA è sviluppato in collaborazione da importanti organizzazioni di hardware e software ML.
Logo Alibaba

Alibaba

"In Alibaba, OpenXLA viene sfruttato dai clienti di Elastic GPU Service per l'addestramento e la gestione di modelli PyTorch di grandi dimensioni. Abbiamo visto miglioramenti significativi delle prestazioni per i clienti che utilizzano OpenXLA, in particolare velocità del 72% per GPT2 e dell'88% per Swin Transformer sulle GPU NVIDIA. Siamo orgogliosi di essere membri fondatori del progetto OpenXLA e di lavorare con la community open source per sviluppare un compilatore ML avanzato che offra prestazioni ed esperienza utente superiori per i clienti di Alibaba Cloud." - Yangqing Jia, VP, AI and Data Analytics, Alibaba

Logo di Amazon Web Services

Amazon Web Services

"Siamo entusiasti di essere membri fondatori del progetto OpenXLA, che democratizza l'accesso a un'infrastruttura AI performante, scalabile ed estensibile, nonché un'ulteriore collaborazione all'interno della community open source per promuovere l'innovazione. In AWS, i nostri clienti scalano le loro applicazioni di IA generativa su AWS Trainium e Inferentia e il nostro Neuron SDK si affida a XLA per ottimizzare i modelli ML per ottenere prestazioni elevate e prestazioni per watt superiori. Con un solido ecosistema OpenXLA, gli sviluppatori possono continuare a innovare e offrire prestazioni eccellenti con un'infrastruttura ML sostenibile e avere la certezza che il loro codice è portabile da usare su hardware a scelta." - Nafea Bshara, Vice President e Distinguished Engineer, AWS

Logo AMD

AMD

"Siamo entusiasti della direzione futura di OpenXLA sull'ampia famiglia di dispositivi AMD (CPU, GPU, AIE) e siamo orgogliosi di far parte di questa community. Apprezziamo i progetti con governance aperta, flessibile e ampia applicabilità, funzionalità all'avanguardia e prestazioni di alto livello e non vediamo l'ora di continuare a collaborare per espandere l'ecosistema open source per gli sviluppatori ML." - Alan Lee, Corporate Vice President, Software Development, AMD

Logo Anyscale

Qualsiasi scala

"Anyscale sviluppa tecnologie aperte e scalabili come Ray per aiutare i professionisti dell'IA a sviluppare più rapidamente le loro applicazioni e a renderle disponibili a più utenti. Di recente abbiamo collaborato con il progetto ALPA per utilizzare OpenXLA per mostrare l'addestramento di modelli ad alte prestazioni per modelli linguistici di grandi dimensioni (LLM) su larga scala. Siamo lieti di partecipare a OpenXLA e siamo entusiasti di come questo impegno open source consenta di eseguire carichi di lavoro AI su una varietà più ampia di piattaforme hardware in modo efficiente, riducendo così le barriere di ingresso, riducendo i costi e avanzando più velocemente nel campo dell'IA." - Philipp Moritz, CTO, Anyscale

Logo di Apple

Mela

Apple Inc. progetta, produce e commercializza smartphone, personal computer, tablet, indossabili e accessori e vende una serie di servizi correlati.

Logo ARM

Gruppo

"Il progetto OpenXLA segna un traguardo importante nel percorso per semplificare lo sviluppo di software ML. Sosteniamo pienamente la missione OpenXLA e non vediamo l'ora di sfruttare la stabilità e la standardizzazione di OpenXLA attraverso le roadmap hardware e software di Arm® NeoverseTM." - Peter Greenhalgh, Vice President of Technology and Fellow, Arm.

Logo Cerebras

Cerebre

"In Cerebras, creiamo acceleratori IA progettati per rendere rapido e semplice l'addestramento anche dei più grandi modelli di IA. I nostri sistemi e software soddisfano gli utenti ovunque si trovino, consentendo sviluppo, scalabilità e iterazione rapidi utilizzando framework ML standard senza cambiamenti. OpenXLA ci consente di estendere la copertura dei nostri utenti e di accelerare il time to soluzione fornendo a Cerebras Wafer-Scale Engine un'interfaccia comune per i framework ML di livello superiore. Siamo davvero entusiasti di vedere l'ecosistema OpenXLA disponibile per un coinvolgimento, un contributo e un utilizzo della community ancora più ampi su GitHub." - Andy Hock, VP and Head of Product, Cerebras Systems

Logo Google

Google

"Il software open source offre a tutti l'opportunità di contribuire a creare innovazioni nel campo dell'AI. Noi di Google collaboriamo al progetto OpenXLA per promuovere l'impegno verso l'open source e l'adozione di strumenti di IA che elevano lo standard per le prestazioni del machine learning, risolvano le incompatibilità tra framework e hardware ed è riconfigurabile per far fronte ai casi d'uso personalizzati degli sviluppatori. Siamo entusiasti di sviluppare questi strumenti con la community OpenXLA in modo che gli sviluppatori possano promuovere i progressi in molti livelli diversi dello stack di IA." - Jeff Dean, Senior Fellow e SVP, Google Research and AI

Logo Graphcore

Graphcore

"La nostra pipeline di compilazione IPU ha utilizzato XLA da quando è stata resa pubblica. Grazie all'indipendenza e alla stabilità della piattaforma XLA, fornisce un frontend ideale per la generazione di nuovi modelli di silicio. La flessibilità di XLA ci ha permesso di esporre le nuove funzionalità hardware della nostra IPU e di ottenere prestazioni all'avanguardia con più framework. I sistemi che eseguono il codice compilato da XLA gestiscono milioni di query al giorno. Siamo entusiasti della direzione di OpenXLA e speriamo di continuare a contribuire al progetto open source. Crediamo che diventerà un componente fondamentale nel futuro dell'IA e del ML." - David Norman, Director of Software Design, Graphcore

Logo Faccina che abbraccia

Faccina che abbraccia

"Semplificare l'esecuzione efficiente di qualsiasi modello su qualsiasi hardware è una sfida tecnica impegnativa, nonché un obiettivo importante per la nostra missione di democratizzare un buon machine learning. In Hugging Face, abbiamo abilitato XLA per i modelli di generazione di testo TensorFlow e abbiamo raggiunto velocità di circa 100 volte. Inoltre, collaboriamo a stretto contatto con i team di ingegneri di Intel, AWS, Habana, Graphcore, AMD, Qualcomm e Google, creando ponti open source tra framework e ciascun silicon, per offrire efficienza immediata agli utenti finali attraverso la nostra libreria Optimum. OpenXLA promette componenti di base standardizzati su cui possiamo sviluppare l'interoperabilità tanto necessaria e non vediamo l'ora di seguire e contribuire!" - Morgan Funtowicz, Head of Machine Learning Optimization, Hugging Face

Logo Intel

Intel

"In Intel crediamo nell'accesso aperto e democratizzato all'IA. CPU Intel, GPU, acceleratori Habana Gaudi e software IA basato su un'API, tra cui OpenVINO, portano i carichi di lavoro ML ovunque, dai supercomputer exascale ai principali deployment cloud. Insieme ad altri membri OpenXLA, cerchiamo di supportare strumenti di compilazione di ML componente e basati su standard che promuovono l'innovazione in più framework e ambienti hardware per accelerare la scienza e la ricerca che cambiano il mondo." - Greg Lavender, SVP Intel, CTO & GM di Software & Advanced Technology Group

Logo Meta

META

"Nella ricerca, in Meta AI, abbiamo usato XLA, una tecnologia di base del progetto OpenXLA, per abilitare i modelli PyTorch per le Cloud TPU e siamo riusciti a ottenere miglioramenti significativi delle prestazioni su progetti importanti. Crediamo che l'open source acceleri il ritmo dell'innovazione nel mondo e siamo entusiasti di far parte del progetto OpenXLA." - Soumith Chintala, Lead Keeper, PyTorch

Logo NVIDIA

NVIDIA

"In qualità di membro fondatore del progetto OpenXLA, NVIDIA non vede l'ora di collaborare ai progressi IA/ML con la community OpenXLA e ritiene che, con un maggiore coinvolgimento e l'adozione di OpenXLA, gli sviluppatori ML possano usufruire di un'infrastruttura IA all'avanguardia." - Roger Bringmann, VP, Compiler Software, NVIDIA.