OpenXLA
Anstehende Veranstaltungen
OpenXLA Dev Lab November 2024
XLA
Info
Installation/Nutzung
Dokumentation
StableHLO
Info
Dokumentation
Shardy
Info
Dokumentation
PJRT
Info
Community
Ankündigungen/Diskussionen
Discord
Videokonferenzen
YouTube
Beiträge
Branchenpartner
Alibaba
„Bei Alibaba wird OpenXLA von Kunden des Elastic GPU Service zum Trainieren und Bereitstellen großer PyTorch-Modelle genutzt. Für Kunden, die OpenXLA verwenden, wurden erhebliche Leistungsverbesserungen verzeichnet, insbesondere Beschleunigungen von 72% für GPT2 und 88% für Swin Transformer auf NVIDIA-GPUs. Wir sind Gründungsmitglied des OpenXLA-Projekts und arbeiten mit der Open-Source-Community an der Entwicklung eines fortschrittlichen ML-Compilers, der Alibaba Cloud-Kunden eine erstklassige Leistung und Nutzerfreundlichkeit bietet.“ – Yangqing Jia, VP, AI and Data Analytics, Alibaba
Amazon Web Services
„Wir freuen uns, Gründungsmitglied des OpenXLA-Projekts zu sein, das den Zugang zu einer leistungsfähigen, skalierbaren und erweiterbaren KI-Infrastruktur sowie die weitere Zusammenarbeit innerhalb der Open-Source-Community ermöglicht, um Innovationen voranzutreiben. Bei AWS skalieren unsere Kunden ihre generativen KI-Anwendungen auf AWS Trainium und Inferentia. Unser Neuron SDK nutzt XLA, um ML-Modelle für hohe Leistung und branchenführende Leistung pro Watt zu optimieren. Dank eines robusten OpenXLA-Systems können Entwickler mit einer nachhaltigen ML-Infrastruktur weiter innovativ sein und erstklassige Leistung bereitstellen. Sie wissen außerdem, dass ihr Code auf die Hardware ihrer Wahl übertragbar ist.“ – Nafea Bshara, Vice President und Distinguished Engineer, AWS
AMD
„Wir freuen uns auf die zukünftige Ausrichtung von OpenXLA auf die große Familie von AMD-Geräten (CPUs, GPUs, AIE) und sind stolz darauf, Teil dieser Community zu sein. Wir schätzen Projekte mit offener Governance, flexibler und umfassender Anwendbarkeit, innovativen Funktionen und erstklassiger Leistung und freuen uns auf die weitere Zusammenarbeit zur Erweiterung des Open-Source-Ökosystems für ML-Entwickler.“ – Alan Lee, Corporate Vice President, Software Development, AMD
Anyscale
„Anyscale entwickelt offene und skalierbare Technologien wie Ray, um KI-Praktikern dabei zu helfen, ihre Anwendungen schneller zu entwickeln und für mehr Nutzer verfügbar zu machen. Kürzlich haben wir uns mit dem ALPA-Projekt zusammengetan, um OpenXLA zu nutzen, um das leistungsstarke Modelltraining für Large Language Models in großem Maßstab zu demonstrieren. Wir freuen uns über die Teilnahme an OpenXLA und sind begeistert, wie diese Open-Source-Initiative die effiziente Ausführung von KI-Arbeitslasten auf einer Vielzahl von Hardwareplattformen ermöglicht. Dadurch wird die Einstiegsbarriere gesenkt, die Kosten gesenkt und das Gebiet der KI schneller vorangebracht.“ – Philipp Moritz, CTO, Anyscale
Apfel
Apple Inc. entwirft, produziert und vermarktet Smartphones, PCs, Tablets, Wearables und Zubehör und vertreibt eine Vielzahl zugehöriger Dienstleistungen.
Arm
„Das OpenXLA-Projekt markiert einen wichtigen Meilenstein auf dem Weg zur Vereinfachung der ML-Softwareentwicklung. Wir unterstützen das Ziel von OpenXLA voll und ganz und freuen uns darauf, die Stabilität und Standardisierung von OpenXLA in den Hardware- und Software-Roadmaps von Arm® NeoverseTM zu nutzen.“ – Peter Greenhalgh, Vice President of Technology and Fellow, Arm
Zerebras
„Bei Cerebras entwickeln wir KI-Beschleuniger, mit denen selbst die größten KI-Modelle schnell und einfach trainiert werden können. Unsere Systeme und Software unterstützen die Nutzer dort, wo sie gerade sind. Sie ermöglichen eine schnelle Entwicklung, Skalierung und Iteration mit standardmäßigen ML-Frameworks ohne Änderung. Mit OpenXLA können wir unsere Nutzerreichweite erhöhen und die Zeit bis zur Lösung verkürzen. Dazu bietet es der Cerebras Wafer-Scale Engine eine gemeinsame Schnittstelle für ML-Frameworks auf höherer Ebene. Wir freuen uns sehr, dass das OpenXLA-Ökosystem auf GitHub für noch mehr Community-Interaktion, Beitrag und Nutzung verfügbar ist.“ – Andy Hock, VP and Head of Product, Cerebras Systems
„Open-Source-Software bietet allen die Möglichkeit, bahnbrechende Innovationen in der KI zu erzielen. Bei Google arbeiten wir im Rahmen des OpenXLA-Projekts zusammen, um unser Engagement für Open Source zu fördern und den Einsatz von KI-Tools voranzutreiben, die den Standard für ML-Leistung heben, Inkompatibilitäten zwischen Frameworks und Hardware beseitigen und sich an die spezifischen Anwendungsfälle von Entwicklern anpassen lassen. Wir freuen uns darauf, diese Tools gemeinsam mit der OpenXLA-Community zu entwickeln, damit Entwickler auf vielen verschiedenen Ebenen des KI-Stacks Fortschritte machen können.“ – Jeff Dean, Senior Fellow und SVP, Google Research and AI
Graphcore
„Unsere IPU-Compiler-Pipeline hat XLA seit seiner Veröffentlichung verwendet. Dank der Plattformunabhängigen und Stabilität von XLA bietet XLA ein ideales Front-End für neuartige Inhalte. Dank der Flexibilität von XLA konnten wir die neuartigen Hardwarefunktionen unseres IPU präsentieren und mit mehreren Frameworks herausragende Leistung erzielen. Millionen von Abfragen pro Tag werden von Systemen verarbeitet, auf denen von XLA kompilierter Code ausgeführt wird. Wir sind von der Ausrichtung von OpenXLA begeistert und hoffen, auch in Zukunft einen Beitrag zum Open-Source-Projekt leisten zu können. Wir glauben, dass sie eine zentrale Komponente in der Zukunft von KI/ML darstellen wird.“ – David Norman, Director of Software Design, Graphcore
Hugging Face
„Jedes Modell einfach und auf jeder Hardware effizient auszuführen, ist eine große technische Herausforderung und ein wichtiges Ziel für unser Ziel, gutes maschinelles Lernen für alle zugänglich zu machen. Bei Hugging Face aktivierte XLA für TensorFlow-Textgenerierungsmodelle und erzielte eine bis zu 100-fache Beschleunigung. Darüber hinaus arbeiten wir eng mit den Engineering-Teams bei Intel, AWS, Habana, Graphcore, AMD, Qualcomm und Google zusammen und bauen Open-Source-Brücken zwischen Frameworks und jedem Silikon auf, um Endnutzer über unsere Optimum-Bibliothek sofort eine Effizienz zu bieten. OpenXLA verspricht standardisierte Bausteine, auf denen wir die dringend benötigte Interoperabilität aufbauen können. Wir können es kaum erwarten, Ihren Beitrag zu leisten!“ – Morgan Funtowicz, Head of Machine Learning Optimierung, Hugging Face
Logo: Intel
„Wir bei Intel glauben an einen offenen, demokratisierten Zugang zu KI. Intel-CPUs, GPUs, Habana-Gaudi-Beschleuniger und eine API-gestützte KI-Software wie OpenVINO fördern ML-Arbeitslasten überall, von Exascale-Supercomputern bis hin zu großen Cloud-Bereitstellungen. Gemeinsam mit anderen OpenXLA-Mitgliedern möchten wir standardbasierte, komponentenbasierte ML-Compiler-Tools unterstützen, die Innovationen in verschiedenen Frameworks und Hardwareumgebungen vorantreiben, um weltverändernde Wissenschaft und Forschung zu beschleunigen.“ – Greg Lavender, Intel SVP, CTO und GM der Software & Advanced Technology Group
Meta
„Bei der Forschung haben wir bei Meta AI XLA verwendet, eine Kerntechnologie des OpenXLA-Projekts, um PyTorch-Modelle für Cloud TPUs zu ermöglichen. Dadurch konnten wir bei wichtigen Projekten erhebliche Leistungsverbesserungen erzielen. Wir sind davon überzeugt, dass Open Source das Innovationstempo in der Welt beschleunigt, und freuen uns, ein Teil des OpenXLA-Projekts zu sein.“ – Soumith Chintala, Lead keeper, PyTorch
Logo: NVIDIA
„Als Gründungsmitglied des OpenXLA-Projekts freut sich NVIDIA darauf, gemeinsam mit der OpenXLA-Community an KI-/ML-Fortschritten zu arbeiten. Wir sind der Überzeugung, dass ML-Entwickler mit mehr Engagement und Akzeptanz von OpenXLA mit der hochmodernen KI-Infrastruktur unterstützt werden.“ – Roger Bringmann, VP, Compiler Software, NVIDIA.