Un écosystème ouvert de composants d'infrastructure de machine learning (ML) performants, portables et extensibles qui simplifient le développement de ML en défragmentant les outils entre les frameworks d'interface et les backends matériels. Conçu par des leaders du secteur dans la modélisation, les logiciels et le matériel de l'IA.
Réunion communautaire le 18/06/2024 à 9h (PT)
Atelier de développement OpenXLA avril 2024: Créer ensemble des systèmes de ML révolutionnaires

XLA

XLA (Accelerated Linear Algebra) est un compilateur Open Source pour le machine learning. Le compilateur XLA exploite des modèles issus de frameworks populaires tels que PyTorch, TensorFlow et JAX, et les optimise pour une exécution hautes performances sur différentes plates-formes matérielles, y compris les GPU, les processeurs et les accélérateurs de ML.
XLA est prédéfini pour de nombreux frameworks de ML. Pour en savoir plus sur l'utilisation de XLA dans ces cas, consultez la documentation et les pages individuelles du framework.
La documentation XLA couvre un certain nombre de sujets élémentaires et avancés, comme l'intégration d'un nouveau plug-in PJRT, l'implémentation d'un nouveau backend XLA et l'optimisation de l'exécution du programme XLA.

StableHLO

StableHLO est un ensemble d'opérations destiné aux opérations de haut niveau (HLO) dans les modèles de machine learning (ML). En résumé, il s'agit d'une couche de portabilité entre différents frameworks et compilateurs de ML: les frameworks de ML qui produisent des programmes StableHLO sont compatibles avec les compilateurs de ML qui utilisent des programmes StableHLO.
La documentation de StableHLO aborde un certain nombre de sujets, tels que la spécification de l'ensemble d'opérations StableHLO et l'exportation de graphes StableHLO à partir de frameworks de ML courants.

JAR

PJRT est une interface indépendante du matériel et du framework, conçue pour les compilateurs et les environnements d'exécution de ML. Il est actuellement inclus dans la distribution XLA. Consultez le GitHub et la documentation de XLA pour en savoir plus sur l'utilisation et l'intégration de PJRT.

Communauté

Rejoignez la liste de diffusion openxla-discuss pour recevoir des actualités sur les sorties, les événements et d'autres informations importantes. Il s'agit également de notre principal canal de discussion sur la conception et le développement.
Rejoignez le Discord OpenXLA pour participer à des chats sur XLA et StableHLO.
Des réunions ont lieu tous les mois via Google Meet, le 2 ou le 3 mardi à 9h PT. Veuillez consulter le document de la réunion ou openxla-discuss pour connaître les dates et les sujets spécifiques.
Les contributions de la communauté sont les bienvenues. Pour en savoir plus, consultez nos consignes relatives aux contributions.

Partenaires du secteur

Le projet OpenXLA est développé en collaboration par de grandes organisations de matériel et de logiciels de ML.
Logo Alibaba

Alibaba

"Chez Alibaba, OpenXLA est utilisé par les clients d'Elastic GPU Service pour l'entraînement et l'inférence de modèles PyTorch volumineux. Nous avons constaté des améliorations significatives des performances pour les clients utilisant OpenXLA, notamment des gains de vitesse de 72% pour GPT2 et de 88% pour Swin Transformer sur les GPU NVIDIA. Nous sommes fiers d'être membre fondateur du projet OpenXLA et de travailler avec la communauté Open Source pour développer un compilateur de ML avancé qui offre des performances et une expérience utilisateur supérieures aux clients Alibaba Cloud." – Yangqing Jia, vice-président en charge de l'IA et de l'analyse des données, Alibaba

Logo Amazon Web Services

Amazon Web Services

"Nous sommes ravis d'être un membre fondateur du projet OpenXLA, qui va démocratiser l'accès à une infrastructure d'IA performante, évolutive et extensible, et renforcera la collaboration au sein de la communauté Open Source pour stimuler l'innovation. Chez AWS, nos clients font évoluer leurs applications d'IA générative sur AWS Trainium et Inferentia, et notre SDK Neuron s'appuie sur XLA pour optimiser les modèles de ML afin d'offrir des performances élevées et des performances exceptionnelles en watts. Grâce à un écosystème OpenXLA robuste, les développeurs peuvent continuer à innover et à générer d'excellentes performances grâce à une infrastructure de ML durable. De plus, ils savent que leur code est portable et peut être utilisé sur le matériel de leur choix." – Nafea Bshara, vice-président et ingénieur réputé, AWS

Logo AMD

AMD

"Nous sommes ravis de l'avenir d'OpenXLA pour la vaste gamme d'appareils AMD (processeurs, GPU, AIE) et sommes fiers de faire partie de cette communauté. Nous valorisons les projets avec une gouvernance ouverte, une applicabilité flexible et étendue, des fonctionnalités de pointe et des performances exceptionnelles. Nous avons hâte de poursuivre cette collaboration visant à développer l'écosystème Open Source pour les développeurs de ML." – Alan Lee, vice-président en charge du développement logiciel, AMD

Logo Anyscale

N'importe quelle échelle

"Anyscale développe des technologies ouvertes et évolutives comme Ray pour aider les professionnels de l'IA à développer leurs applications plus rapidement et à les rendre accessibles à davantage d'utilisateurs. Nous nous sommes récemment associés au projet ALPA afin d'utiliser OpenXLA afin de présenter l'entraînement de modèles hautes performances pour de grands modèles de langage à grande échelle. Nous sommes heureux de participer à OpenXLA et nous nous réjouissons de la manière dont cette initiative Open Source permet d'exécuter efficacement des charges de travail d'IA sur une plus grande variété de plates-formes matérielles. Cela permet de réduire les obstacles à l'entrée, de réduire les coûts et de faire progresser le domaine de l'IA plus rapidement." – Philipp Moritz, directeur de la technologie, Anyscale

Logo Apple

Apple

Apple Inc. conçoit, fabrique et commercialise des smartphones, des ordinateurs personnels, des tablettes, des accessoires connectés et des accessoires, et vend divers services associés.

Logo Arm

Arm

"Le projet OpenXLA marque une étape importante dans la simplification du développement de logiciels de ML. Nous soutenons pleinement la mission OpenXLA, et nous avons hâte d'exploiter la stabilité et la standardisation OpenXLA dans les feuilles de route matérielles et logicielles d'Arm® NeoverseTM." – Peter Greenhalgh, vice-président de la technologie et associé, Arm.

Logo Cerebras

Cérébres

"Chez Cerebras, nous développons des accélérateurs d'IA conçus pour permettre l'entraînement rapide et facile, même des plus grands modèles d'IA. Nos systèmes et logiciels s'adaptent aux besoins des utilisateurs, ce qui leur permet d'accélérer le développement, le scaling et l'itération à l'aide de frameworks de ML standards, sans aucune modification. OpenXLA nous aide à étendre notre couverture d'utilisateurs et à réduire les délais de solution en fournissant le moteur à l'échelle de wafers Cerebras avec une interface commune aux frameworks de ML de plus haut niveau. Nous sommes très enthousiastes à l'idée que l'écosystème OpenXLA soit disponible pour un engagement de la communauté, des contributions et une utilisation encore plus larges sur GitHub." – Andy Hock, vice-président et responsable produit, Cerebras Systems

Logo Google

Google

"Les logiciels Open Source permettent à tout un chacun d'innover dans le domaine de l'IA. Chez Google, nous collaborons sur le projet OpenXLA pour renforcer notre engagement envers l'Open Source et favoriser l'adoption d'outils d'IA qui améliorent les performances du ML, corrigent les incompatibilités entre les frameworks et le matériel, et sont reconfigurables pour répondre aux cas d'utilisation sur mesure des développeurs. Nous sommes ravis de développer ces outils avec la communauté OpenXLA afin que les développeurs puissent faire progresser les différentes couches de la pile d'IA." – Jeff Dean, Senior Fellow et Vice-président senior, Recherche et IA de Google

Logo Graphcore

Graphcore

"Notre compilateur IPU utilise XLA depuis qu'il est rendu public. Grâce à l'indépendance et à la stabilité de la plate-forme XLA, cette interface offre une interface idéale pour mettre au point une nouvelle puce. La flexibilité de XLA nous a permis de présenter les nouvelles fonctionnalités matérielles de notre IPU et d'atteindre des performances optimales avec plusieurs frameworks. Chaque jour, des millions de requêtes sont traitées par des systèmes exécutant du code compilé par XLA. Nous sommes ravis de la mise en place d'OpenXLA et espérons continuer à contribuer au projet Open Source. Nous sommes convaincus qu'elle constituera une composante essentielle de l'avenir de l'IA et du ML." – David Norman, directeur de la conception logicielle, Graphcore

Logo Hugging Face

Hugging Face

"Faciliter l'exécution efficace de n'importe quel modèle sur n'importe quel matériel représente un défi technique de taille. C'est aussi un objectif important de notre mission, qui est de démocratiser le machine learning. À l'occasion de Hugging Face, nous avons activé XLA pour les modèles de génération de texte TensorFlow, ce qui nous a permis d'accélérer environ 100 fois. De plus, nous collaborons étroitement avec les équipes d'ingénieurs Intel, AWS, Habana, Graphcore, AMD, Qualcomm et Google pour créer des ponts Open Source entre les frameworks et chaque puce, afin d'offrir une efficacité clé en main aux utilisateurs finaux grâce à notre bibliothèque Optimum. OpenXLA promet des éléments de base standardisés qui nous permettront de développer l'interopérabilité dont nous avons tant besoin, et nous avons hâte de le suivre et d'apporter notre aide !" - Morgan Funtowicz, Head of Machine Learning Optimization, Hugging Face

Logo Intel

Intel

"Chez Intel, nous croyons en un accès ouvert et démocratisé à l'IA. Des processeurs Intel, des GPU, des accélérateurs Habana Gaudi et des logiciels d'IA exploitant une API, comme OpenVINO, pilotent les charges de travail de ML partout, des superordinateurs exascale aux déploiements cloud majeurs. Avec d'autres membres d'OpenXLA, nous cherchons à soutenir les outils de compilation de ML basés sur des normes et composés de composants qui stimulent l'innovation dans plusieurs frameworks et environnements matériels afin d'accélérer l'évolution des sciences et de la recherche." – Greg Lavender, vice-président senior d'Intel, CTO et directeur de la technologie, Software & Advanced Technology Group

Logo Meta

Meta

"Chez Meta AI, nous avons utilisé XLA, une technologie essentielle du projet OpenXLA, pour créer des modèles PyTorch pour les Cloud TPU et améliorer significativement les performances de projets importants. Nous sommes convaincus que l'Open Source accélère le rythme de l'innovation dans le monde, et nous sommes ravis de participer au projet OpenXLA." – Soumith Chintala, responsable principal, PyTorch

Logo NVIDIA

NVIDIA

"En tant que membre fondateur du projet OpenXLA, NVIDIA est impatient de collaborer sur les avancées de l'IA et du ML avec la communauté OpenXLA. Avec un engagement et une adoption plus larges d'OpenXLA, les développeurs de ML bénéficieront d'une infrastructure d'IA de pointe." - Roger Bringmann, vice-président, Compiler Software, NVIDIA.

Contact

Pour toute question, contactez les responsables sur openxla.org