Un ecosistema aperto di componenti di infrastruttura di machine learning (ML) ad alte prestazioni, portabili ed estensibili che semplificano lo sviluppo ML deframmentando gli strumenti tra framework di frontend e backend hardware. Creato dai leader del settore nel campo della modellazione, del software e dell'hardware IA.
Riunione della community il 18/02/2025 alle ore 09:00 PT
Le slide e le registrazioni del Dev Lab di autunno sono ora disponibili.

XLA

XLA (Accelerated Linear Algebra) è un compilatore open source per il machine learning. Il compilatore XLA prende modelli da framework popolari come PyTorch, TensorFlow e JAX e ottimizza i modelli per l'esecuzione ad alte prestazioni su diverse piattaforme hardware, tra cui GPU, CPU e acceleratori ML.
XLA è preinstallato per molti framework ML. Per informazioni su come utilizzare XLA in questi casi, consulta la documentazione e le singole pagine del framework.
La documentazione di XLA tratta una serie di argomenti di base e avanzati, ad esempio come integrare un nuovo plug-in PJRT, implementare un nuovo backend XLA e ottimizzare il runtime del programma XLA.

StableHLO

StableHLO è un set di operazioni per operazioni di alto livello (HLO) nei modelli di machine learning (ML). Essenzialmente, è un livello di portabilità tra diversi framework ML e compilatori ML: i framework ML che producono programmi StableHLO sono compatibili con i compilatori ML che utilizzano programmi StableHLO.
La documentazione di StableHLO tratta una serie di argomenti, come le specifiche del set di operazioni StableHLO e come esportare i grafici StableHLO da framework ML comuni.

Shardy

Shardy è un sistema di partizione di tensori basato su MLIR per tutti i dialetti. Realizzato grazie alla collaborazione dei team GSPMD e PartIR, incorpora il meglio di entrambi i sistemi e l'esperienza condivisa di team e utenti.
La documentazione di Shardy illustra i concetti di sharding, la panoramica dei dialetti e i tutorial per iniziare a utilizzare Shardy da JAX o integrarlo in una pipeline MLIR personalizzata.

PJRT

PJRT è un'interfaccia indipendente da hardware e framework per i compilatori e i runtime ML. È attualmente incluso nella distribuzione XLA. Consulta il sito GitHub di XLA e la documentazione per ulteriori informazioni su come utilizzare e integrare PJRT.

Community

Iscriviti alla mailing list openxla-discuss per ricevere notizie su nuove uscite, eventi e altri aggiornamenti importanti. Questo è anche il nostro canale principale per le discussioni su progettazione e sviluppo.
Partecipa a OpenXLA Discord per partecipare a chat sugli argomenti XLA e StableHLO.
Le riunioni si tengono ogni mese tramite Google Meet il secondo o il terzo martedì alle 09:00 PT. Consulta il documento della riunione o openxla-discuss per date e argomenti specifici.
Tieniti al corrente su tutte le ultime novità e gli annunci della community OpenXLA.
I contributi della community sono ben accetti. Per ulteriori informazioni, consulta le nostre linee guida per i contributi.

Partner del settore

Il progetto OpenXLA è sviluppato in collaborazione dalle principali organizzazioni di hardware e software ML.
Logo Alibaba

Alibaba

"In Alibaba, OpenXLA viene utilizzato dai clienti di Elastic GPU Service per l'addestramento e la distribuzione di modelli PyTorch di grandi dimensioni. Abbiamo visto miglioramenti significativi delle prestazioni per i clienti che utilizzano OpenXLA, in particolare una velocità del 72% per GPT2 e dell'88% per Swin Transformer sulle GPU NVIDIA. Siamo orgogliosi di essere stati uno dei membri fondatori del progetto OpenXLA e di lavorare con la community open source per sviluppare un compilatore ML avanzato che offra prestazioni ed esperienza utente superiori per i clienti di Alibaba Cloud." - Yangqing Jia, VP, AI and Data Analytics, Alibaba

Logo Amazon Web Services

Amazon Web Services

"Siamo entusiasti di essere uno dei membri fondatori del progetto OpenXLA, che democratizza l'accesso a un'infrastruttura AI efficiente, scalabile ed estensibile, nonché un'ulteriore collaborazione all'interno della community open source per promuovere l'innovazione. In AWS, i nostri clienti scalano le loro applicazioni di IA generativa su AWS Trainium e Inferentia e il nostro SDK Neuron si basa su XLA per ottimizzare i modelli ML per prestazioni elevate e prestazioni per watt. Con un solido ecosistema OpenXLA, gli sviluppatori possono continuare a innovare e offrire grandi prestazioni con un'infrastruttura ML sostenibile, oltre a sapere che il loro codice è portabile da usare su qualsiasi hardware di loro scelta." - Nafea Bshara, Vice President e Distinguited Engineer, AWS

Logo AMD

AMD

"Siamo entusiasti della direzione futura di OpenXLA sull'ampia famiglia di dispositivi AMD (CPU, GPU, AIE) e siamo orgogliosi di far parte di questa community. Apprezziamo i progetti con governance aperta, flessibile e ampia applicabilità, funzionalità all'avanguardia e prestazioni di alto livello e non vediamo l'ora che la collaborazione continua per espandere l'ecosistema open source per gli sviluppatori ML." - Alan Lee, Corporate Vice President, Software Development, AMD

Logo Anyscale

Qualsiasi scala

"Anyscale sviluppa tecnologie aperte e scalabili come Ray per aiutare i professionisti dell'IA a sviluppare più velocemente le loro applicazioni e renderle disponibili a più utenti. Di recente abbiamo collaborato con il progetto ALPA per utilizzare OpenXLA al fine di mostrare l'addestramento di modelli linguistici di grandi dimensioni (LLM) ad alte prestazioni su larga scala. Siamo lieti di partecipare a OpenXLA e siamo entusiasti di come questo impegno open source consenta di eseguire carichi di lavoro di IA su una più ampia varietà di piattaforme hardware in modo efficiente, riducendo così la barriera di ingresso, riducendo i costi e avanzando più rapidamente nel campo dell'IA." - Philipp Moritz, CTO, Anyscale

Logo di Apple

Mela

Apple Inc. progetta, produce e commercializza smartphone, personal computer, tablet, dispositivi indossabili e accessori e vende una serie di servizi correlati.

Logo ARM

Gruppo

"Il progetto OpenXLA segna un traguardo importante sul percorso per semplificare lo sviluppo di software ML. Sosteniamo pienamente la missione OpenXLA e non vediamo l'ora di sfruttare la stabilità e la standardizzazione OpenXLA attraverso le roadmap per hardware e software Arm® NeoverseTM." - Peter Greenhalgh, Vice President of Technology and Fellow, Arm.

Logo Cerebras

Cerimonia

"In Cerebras, realizziamo acceleratori IA progettati per rendere facile e veloce l'addestramento anche dei più grandi modelli di IA. I nostri sistemi e software soddisfano gli utenti ovunque si trovino, consentendo sviluppo, scalabilità e iterazione rapidi utilizzando framework ML standard senza modifiche. OpenXLA consente di estendere la copertura dei nostri utenti e di accelerare i tempi di soluzione fornendo a Cerebras Wafer-Scale Engine un'interfaccia comune per i framework ML di livello superiore. Siamo estremamente entusiasti di vedere l'ecosistema OpenXLA disponibile per un coinvolgimento, un contributo e un utilizzo ancora più ampi della community su GitHub." - Andy Hock, VP and Head of Product, Cerebras Systems

Logo Google

Google

"Il software open source offre a tutti l'opportunità di contribuire a creare innovazioni nel campo dell'IA. Google collabora al progetto OpenXLA per promuovere ulteriormente il nostro impegno verso l'open source e l'adozione di strumenti di IA che migliorino lo standard per le prestazioni del machine learning, risolvano le incompatibilità tra framework e hardware e siano riconfigurabili per affrontare i casi d'uso personalizzati degli sviluppatori. Siamo entusiasti di sviluppare questi strumenti con la community OpenXLA, in modo che gli sviluppatori possano promuovere progressi su molti livelli diversi dello stack IA." - Jeff Dean, Senior Fellow e SVP, Google Research and AI

Contatta

Per domande dirette, contatta i gestori della manutenzione su openxla.org