Un ecosistema aperto di componenti di infrastruttura di machine learning (ML) ad alte prestazioni, portabili ed estensibili che semplificano lo sviluppo ML deframmentando gli strumenti tra framework di frontend e backend hardware. Creato dai leader del settore nel campo della modellazione, del software e dell'hardware IA.
Riunione della community il 17/12/2024 alle ore 09:00 PT
Il nostro prossimo Dev Lab si terrà il 14 novembre a Sunnyvale, in California.

XLA

XLA (Accelerated Linear Algebra) è un compilatore open source per il machine learning. Il compilatore XLA prende modelli da framework popolari come PyTorch, TensorFlow e JAX e ottimizza i modelli per l'esecuzione ad alte prestazioni su diverse piattaforme hardware, tra cui GPU, CPU e acceleratori ML.
XLA è preinstallato per molti framework ML. Per informazioni su come utilizzare XLA in questi casi, consulta la documentazione e le singole pagine del framework.
La documentazione di XLA tratta una serie di argomenti di base e avanzati, ad esempio come integrare un nuovo plug-in PJRT, implementare un nuovo backend XLA e ottimizzare il runtime del programma XLA.

StableHLO

StableHLO è un set di operazioni per operazioni di alto livello (HLO) nei modelli di machine learning (ML). Essenzialmente, è un livello di portabilità tra diversi framework ML e compilatori ML: i framework ML che producono programmi StableHLO sono compatibili con i compilatori ML che utilizzano programmi StableHLO.
La documentazione di StableHLO tratta una serie di argomenti, come le specifiche del set di operazioni StableHLO e come esportare i grafici StableHLO da framework ML comuni.

Shardy

Shardy è un sistema di partizione di tensori basato su MLIR per tutti i dialetti. Realizzato grazie alla collaborazione dei team GSPMD e PartIR, incorpora il meglio di entrambi i sistemi e l'esperienza condivisa di team e utenti.
La documentazione di Shardy illustra i concetti di sharding, la panoramica dei dialetti e i tutorial per iniziare a utilizzare Shardy da JAX o integrarlo in una pipeline MLIR personalizzata.

PJRT

PJRT è un'interfaccia indipendente da hardware e framework per i compilatori e i runtime ML. È attualmente incluso nella distribuzione XLA. Consulta il sito GitHub di XLA e la documentazione per ulteriori informazioni su come utilizzare e integrare PJRT.

Community

Iscriviti alla mailing list openxla-discuss per ricevere notizie su nuove uscite, eventi e altri aggiornamenti importanti. Questo è anche il nostro canale principale per le discussioni su progettazione e sviluppo.
Partecipa a OpenXLA Discord per partecipare a chat sugli argomenti XLA e StableHLO.
Le riunioni si tengono ogni mese tramite Google Meet il secondo o il terzo martedì alle 09:00 PT. Consulta il documento della riunione o openxla-discuss per date e argomenti specifici.
Tieniti al corrente su tutte le ultime novità e gli annunci della community OpenXLA.
I contributi della community sono ben accetti. Per ulteriori informazioni, consulta le nostre linee guida per i contributi.

Partner del settore

Il progetto OpenXLA è sviluppato in collaborazione dalle principali organizzazioni di hardware e software ML.
Logo Alibaba

Alibaba

"In Alibaba, OpenXLA viene utilizzato dai clienti di Elastic GPU Service per l'addestramento e la distribuzione di modelli PyTorch di grandi dimensioni. Abbiamo visto miglioramenti significativi delle prestazioni per i clienti che utilizzano OpenXLA, in particolare una velocità del 72% per GPT2 e dell'88% per Swin Transformer sulle GPU NVIDIA. Siamo orgogliosi di essere stati uno dei membri fondatori del progetto OpenXLA e di lavorare con la community open source per sviluppare un compilatore ML avanzato che offra prestazioni ed esperienza utente superiori per i clienti di Alibaba Cloud." - Yangqing Jia, VP, AI and Data Analytics, Alibaba

Logo Amazon Web Services

Amazon Web Services

"Siamo entusiasti di essere uno dei membri fondatori del progetto OpenXLA, che democratizza l'accesso a un'infrastruttura AI efficiente, scalabile ed estensibile, nonché un'ulteriore collaborazione all'interno della community open source per promuovere l'innovazione. In AWS, i nostri clienti scalano le loro applicazioni di IA generativa su AWS Trainium e Inferentia e il nostro SDK Neuron si basa su XLA per ottimizzare i modelli ML per prestazioni elevate e prestazioni per watt. Con un solido ecosistema OpenXLA, gli sviluppatori possono continuare a innovare e offrire grandi prestazioni con un'infrastruttura ML sostenibile, oltre a sapere che il loro codice è portabile da usare su qualsiasi hardware di loro scelta." - Nafea Bshara, Vice President e Distinguited Engineer, AWS

Logo AMD

AMD

"Siamo entusiasti della direzione futura di OpenXLA sull'ampia famiglia di dispositivi AMD (CPU, GPU, AIE) e siamo orgogliosi di far parte di questa community. Apprezziamo i progetti con governance aperta, flessibile e ampia applicabilità, funzionalità all'avanguardia e prestazioni di alto livello e non vediamo l'ora che la collaborazione continua per espandere l'ecosistema open source per gli sviluppatori ML." - Alan Lee, Corporate Vice President, Software Development, AMD

Logo Anyscale

Qualsiasi scala

"Anyscale sviluppa tecnologie aperte e scalabili come Ray per aiutare i professionisti dell'IA a sviluppare più velocemente le loro applicazioni e renderle disponibili a più utenti. Di recente abbiamo collaborato con il progetto ALPA per utilizzare OpenXLA al fine di mostrare l'addestramento di modelli linguistici di grandi dimensioni (LLM) ad alte prestazioni su larga scala. Siamo lieti di partecipare a OpenXLA e siamo entusiasti di come questo impegno open source consenta di eseguire carichi di lavoro di IA su una più ampia varietà di piattaforme hardware in modo efficiente, riducendo così la barriera di ingresso, riducendo i costi e avanzando più rapidamente nel campo dell'IA." - Philipp Moritz, CTO, Anyscale

Logo di Apple

Mela

Apple Inc. progetta, produce e commercializza smartphone, personal computer, tablet, dispositivi indossabili e accessori e vende una serie di servizi correlati.

Logo ARM

Gruppo

"Il progetto OpenXLA segna un traguardo importante sul percorso per semplificare lo sviluppo di software ML. Sosteniamo pienamente la missione OpenXLA e non vediamo l'ora di sfruttare la stabilità e la standardizzazione OpenXLA attraverso le roadmap per hardware e software Arm® NeoverseTM." - Peter Greenhalgh, Vice President of Technology and Fellow, Arm.

Logo Cerebras

Cerimonia

"In Cerebras, realizziamo acceleratori IA progettati per rendere facile e veloce l'addestramento anche dei più grandi modelli di IA. I nostri sistemi e software soddisfano gli utenti ovunque si trovino, consentendo sviluppo, scalabilità e iterazione rapidi utilizzando framework ML standard senza modifiche. OpenXLA consente di estendere la copertura dei nostri utenti e di accelerare i tempi di soluzione fornendo a Cerebras Wafer-Scale Engine un'interfaccia comune per i framework ML di livello superiore. Siamo estremamente entusiasti di vedere l'ecosistema OpenXLA disponibile per un coinvolgimento, un contributo e un utilizzo ancora più ampi della community su GitHub." - Andy Hock, VP and Head of Product, Cerebras Systems

Logo Google

Google

"Il software open source offre a tutti l'opportunità di contribuire a creare innovazioni nel campo dell'IA. Google collabora al progetto OpenXLA per promuovere ulteriormente il nostro impegno verso l'open source e l'adozione di strumenti di IA che migliorino lo standard per le prestazioni del machine learning, risolvano le incompatibilità tra framework e hardware e siano riconfigurabili per affrontare i casi d'uso personalizzati degli sviluppatori. Siamo entusiasti di sviluppare questi strumenti con la community OpenXLA, in modo che gli sviluppatori possano promuovere progressi su molti livelli diversi dello stack IA." - Jeff Dean, Senior Fellow e SVP, Google Research and AI

Logo Graphcore

Graphcore

"La nostra pipeline di compilazione IPU ha utilizzato XLA da quando è stato reso pubblico. Grazie all'indipendenza e alla stabilità della piattaforma di XLA, fornisce un frontend ideale per la generazione di nuove versioni di silicio. La flessibilità di XLA ci ha permesso di esporre le nuove funzionalità hardware della nostra IPU e di raggiungere prestazioni all'avanguardia con più framework. I sistemi che eseguono il codice compilato da XLA gestiscono milioni di query al giorno. Siamo entusiasti della direzione di OpenXLA e speriamo di continuare a contribuire al progetto open source. Crediamo che costituirà un componente fondamentale nel futuro di IA/ML." - David Norman, Director of Software Design, Graphcore

Logo Viso che abbraccia

Hugging Face

"Rendere semplice l'esecuzione efficiente di qualsiasi modello su qualsiasi hardware è una sfida tecnica molto complessa e un obiettivo importante per la nostra missione di democratizzare un buon machine learning. In Hugging Face, abbiamo abilitato XLA per i modelli di generazione di testo TensorFlow e abbiamo raggiunto velocità di circa 100 volte. Inoltre, collaboriamo a stretto contatto con i team di tecnici di Intel, AWS, Habana, Graphcore, AMD, Qualcomm e Google, costruendo ponti open source tra i framework e ogni silicio, per offrire efficienza immediata agli utenti finali attraverso la nostra libreria Optimum. OpenXLA promette componenti di base standardizzati su cui possiamo costruire l'interoperabilità di cui abbiamo bisogno e non vediamo l'ora di seguire e contribuire!" - Morgan Funtowicz, Head of Machine Learning Optimization, Hugging Face

Logo Intel

Intel

"In Intel crediamo nell'accesso aperto e democratizzato all'IA. CPU Intel, GPU, acceleratori Habana Gaudi e software di IA basato su oneAPI, tra cui OpenVINO, indirizzano i carichi di lavoro ML ovunque, dai supercomputer exascale alle principali implementazioni cloud. Insieme ad altri membri di OpenXLA, cerchiamo di supportare strumenti di compilazione ML basati su standard e componenti che promuovono l'innovazione in più framework e ambienti hardware per accelerare la scienza e la ricerca che cambiano il mondo." - Greg Lavender, Intel SVP, CTO & GM di Software & Advanced Technology Group

Logo Meta

Meta

"Nella ricerca, in Meta AI, abbiamo usato XLA, una tecnologia di base del progetto OpenXLA, per abilitare modelli PyTorch per le Cloud TPU e siamo riusciti a ottenere miglioramenti significativi delle prestazioni su progetti importanti. Crediamo che l'open source accelera il ritmo dell'innovazione a livello mondiale e siamo entusiasti di far parte del progetto OpenXLA." - Soumith Chintala, Lead Keeper, PyTorch

Logo NVIDIA

NVIDIA

"In qualità di membro fondatore del progetto OpenXLA, NVIDIA non vede l'ora di collaborare ai progressi IA/ML con la community OpenXLA ed è positiva al fatto che, grazie al maggiore coinvolgimento e all'adozione di OpenXLA, gli sviluppatori di ML avranno a disposizione un'infrastruttura IA all'avanguardia." - Roger Bringmann, VP, Compiler Software, NVIDIA.

Contatta

Per domande dirette, contatta i gestori della manutenzione su openxla.org