Ekosistem terbuka yang terdiri dari komponen infrastruktur machine learning (ML) berperforma tinggi, portabel, dan dapat diperluas yang menyederhanakan pengembangan ML dengan mendefragmentasi alat antara framework frontend dan backend hardware. Dibangun oleh para pemimpin industri dalam pemodelan, software, dan hardware AI.
Compiler machine learning (ML) untuk GPU, CPU, dan akselerator ML.
Opset portabel untuk ekspor framework, input compiler, dan penurunan agnostik hardware.
Antarmuka yang tidak bergantung pada hardware dan framework untuk compiler serta runtime ML.

Bergabunglah dengan komunitas OpenXLA

Bergabunglah dengan milis openxla-announce untuk mendapatkan berita tentang rilis, acara, dan info terbaru besar lainnya.
Bergabunglah dengan milis openxla-discuss untuk diskusi desain dan pengembangan.
Tinjau catatan dari rapat sebelumnya dan tambahkan rapat mendatang ke kalender Anda.
Kunjungi project OpenXLA dan repo di GitHub.

Berkontribusi untuk OpenXLA

Tutorial ini akan membantu Anda memulai sebagai kontributor OpenXLA.
XLA (Accelerated Linear Algebra) adalah compiler open source untuk machine learning. Compiler XLA mengambil model dari framework populer seperti PyTorch, TensorFlow, dan JAX, lalu mengoptimalkan model untuk eksekusi berperforma tinggi di berbagai platform hardware termasuk GPU, CPU, dan akselerator ML.
Mulai kembangkan project XLA.
StableHLO adalah operasi yang ditetapkan untuk operasi tingkat tinggi (HLO) dalam model machine learning (ML). Pada dasarnya, ini adalah lapisan portabilitas antara framework ML dan compiler ML yang berbeda: Framework ML yang menghasilkan program StableHLO kompatibel dengan compiler ML yang menggunakan program StableHLO.
Dokumentasi referensi untuk operasi XLA dan StableHLO.

Partner industri

Project OpenXLA dikembangkan secara kolaboratif oleh organisasi hardware dan software ML terkemuka.
Logo Alibaba

Alibaba

“Di Alibaba, OpenXLA memanfaatkan pelanggan Layanan GPU Elastic untuk pelatihan dan penyaluran model PyTorch berskala besar. Kami telah melihat peningkatan performa yang signifikan bagi pelanggan yang menggunakan OpenXLA, terutama peningkatan sebesar 72% untuk GPT2 dan 88% untuk Swin Transformer pada GPU NVIDIA. Kami bangga menjadi anggota pendiri Project OpenXLA dan bekerja sama dengan komunitas open source untuk mengembangkan compiler ML canggih yang memberikan performa unggul dan pengalaman pengguna bagi pelanggan Alibaba Cloud.” - Yangqing Jia, VP, AI and Data Analytics, Alibaba

Logo Amazon Web Services

Amazon Web Services

“Kami senang dapat menjadi anggota pendiri Project OpenXLA, yang akan mendemokrasikan akses ke infrastruktur AI yang berperforma tinggi, skalabel, dan dapat diperluas, serta kolaborasi lebih lanjut dalam komunitas open source untuk mendorong inovasi. Di AWS, pelanggan kami menskalakan aplikasi AI generatif mereka di AWS Trainium dan Inferentia. Selain itu, Neuron SDK kami mengandalkan XLA untuk mengoptimalkan model ML agar memiliki performa tinggi dan performa terbaik di kelasnya per watt. Dengan ekosistem OpenXLA yang tangguh, developer dapat terus berinovasi dan memberikan performa luar biasa dengan infrastruktur ML yang berkelanjutan, dan mengetahui bahwa kode mereka portabel untuk digunakan pada hardware pilihan mereka.” - Nafea Bshara, Vice President and Distinguished Engineer, AWS

Logo AMD

AMD

“Kami sangat antusias dengan arah masa depan OpenXLA pada jajaran perangkat AMD yang luas (CPU, GPU, AIE) dan bangga menjadi bagian dari komunitas ini. Kami menghargai project dengan tata kelola terbuka, penerapan yang fleksibel dan luas, fitur canggih, dan performa terbaik, dan kami mengharapkan kolaborasi berkelanjutan untuk memperluas ekosistem open source bagi developer ML.” - Alan Lee, Corporate Vice President, Software Development, AMD

Logo Anyscale

Semua skala

"Anyscale mengembangkan teknologi yang terbuka dan skalabel seperti Ray untuk membantu praktisi AI mengembangkan aplikasi mereka dengan lebih cepat dan menyediakannya bagi lebih banyak pengguna. Baru-baru ini, kami berpartner dengan project ALPA untuk menggunakan OpenXLA guna menunjukkan pelatihan model berperforma tinggi untuk model Bahasa Besar dalam skala besar. Kami sangat senang dapat berpartisipasi dalam OpenXLA dan antusias karena upaya open source ini dapat menjalankan beban kerja AI di berbagai platform hardware secara efisien, sehingga mengurangi hambatan masuk, mengurangi biaya, dan memajukan bidang AI lebih cepat." - Philipp Moritz, CTO, Anyscale

Logo Apple

Apel

Apple Inc. merancang, memproduksi dan memasarkan smartphone, komputer pribadi, tablet, perangkat wearable, dan aksesori, serta menjual berbagai layanan terkait.

Logo Arm

Arm

“Project OpenXLA menandai pencapaian penting dalam perjalanan menyederhanakan pengembangan software ML. Kami sepenuhnya mendukung misi OpenXLA dan berharap dapat memanfaatkan stabilitas dan standardisasi OpenXLA di seluruh roadmap hardware dan software Arm® NeoverseTM.” - Peter Greenhalgh, Vice President of Technology dan Fellow, Arm.

Logo Cerebras

Cerebras

“Di Cerebras, kami membangun akselerator AI yang dirancang untuk mempercepat dan mempermudah pelatihan model AI terbesar sekalipun. Sistem dan software kami memenuhi kebutuhan pengguna di mana pun mereka berada -- memungkinkan pengembangan, penskalaan, dan iterasi yang cepat menggunakan framework ML standar tanpa perubahan. OpenXLA membantu memperluas jangkauan pengguna kami dan mempercepat waktu memperoleh solusi dengan menyediakan antarmuka umum ke framework ML di Cerebras Wafer-Scale Engine. Kami sangat senang melihat ekosistem OpenXLA tersedia untuk interaksi, kontribusi, dan penggunaan komunitas yang lebih luas di GitHub.” - Andy Hock, VP dan Head of Product, Cerebras Systems

Logo Google

Google

“Software open-source memberi kesempatan kepada semua orang untuk membantu menciptakan terobosan dalam AI. Di Google, kami berkolaborasi dengan Project OpenXLA untuk memperkuat komitmen kami terhadap open source dan mendorong penggunaan alat AI yang meningkatkan standar performa ML, mengatasi ketidaksesuaian antara framework dan hardware, serta dapat dikonfigurasi ulang untuk menangani kasus penggunaan developer yang disesuaikan. Kami senang bisa mengembangkan alat ini dengan komunitas OpenXLA sehingga developer dapat mendorong kemajuan di berbagai lapisan stack AI.” - Jeff Dean, Senior Fellow dan SVP, Google Research and AI

Logo Graphcore

{i>Grafcore<i}

“Pipeline compiler IPU kami telah menggunakan XLA sejak diluncurkan ke publik. Berkat independensi dan stabilitas platform XLA, XLA menyediakan frontend yang ideal untuk memunculkan silikon baru. Fleksibilitas XLA memungkinkan kami mengekspos fitur hardware baru IPU dan mencapai performa canggih dengan berbagai framework. Jutaan kueri sehari dilayani oleh sistem yang menjalankan kode yang dikompilasi oleh XLA. Kami sangat senang dengan arahan OpenXLA dan berharap dapat terus berkontribusi pada proyek open source. Kami yakin hal ini akan menjadi komponen inti pada masa depan AI/ML.” - David Norman, Director of Software Design, Graphcore

Logo Hugging Face

Wajah Berpelukan

“Mempermudah menjalankan model secara efisien pada hardware apa pun merupakan tantangan teknis yang mendalam, dan tujuan penting bagi misi kami untuk menghadirkan machine learning yang baik. Di Hugging Face, kami mengaktifkan XLA untuk model pembuatan teks TensorFlow dan mencapai kecepatan ~100x. Selain itu, kami berkolaborasi erat dengan tim engineering di Intel, AWS, Habana, Graphcore, AMD, Qualcomm, dan Google, membangun jembatan open source antara framework dan setiap silikon, untuk menawarkan efisiensi siap pakai kepada pengguna akhir melalui library Optimum kami. OpenXLA menjanjikan elemen penyusun standar yang dapat kami gunakan untuk membangun interoperabilitas yang sangat diperlukan, dan kami tidak sabar untuk mengikuti dan berkontribusi!” - Morgan Funtowicz, Head of Machine Learning Optimization, Hugging Face

Logo Intel

Intel

“Di Intel, kami percaya pada akses AI yang terbuka dan terdemokratisasi. CPU Intel, GPU, akselerator Habana Gaudi, dan software AI yang didukung oneAPI termasuk OpenVINO, mendorong beban kerja ML di mana saja, mulai dari superkomputer exascale hingga deployment cloud besar. Bersama anggota OpenXLA lainnya, kami berupaya mendukung alat compiler ML terkomponen dan berbasis standar yang mendorong inovasi di berbagai framework dan lingkungan hardware untuk mempercepat sains dan penelitian yang mengubah dunia.” - Greg Lavender, Intel SVP, CTO & GM of Software & Advanced Technology Group

Logo Meta

Meta

“Dalam riset, di Meta AI, kami telah menggunakan XLA, teknologi inti dari project OpenXLA, guna mengaktifkan model PyTorch untuk Cloud TPU dan mampu mencapai peningkatan performa yang signifikan pada project penting. Kami percaya bahwa open source mempercepat laju inovasi di dunia, dan kami sangat senang menjadi bagian dari Project OpenXLA.” - Soumith Chintala, Lead Maintainer, PyTorch

Logo NVIDIA

NVIDIA

“Sebagai anggota pendiri Proyek OpenXLA, NVIDIA berharap dapat berkolaborasi dalam kemajuan AI/ML dengan komunitas OpenXLA dan positif bahwa dengan keterlibatan dan adopsi OpenXLA yang lebih luas, developer ML akan diberdayakan dengan infrastruktur AI yang canggih.” - Roger Bringmann, VP, Compiler Software, NVIDIA.