高效能、可攜式及可擴充機器學習 (ML) 基礎架構元件的開放式生態系統,能夠分離前端架構與硬體後端之間的工具,藉此簡化機器學習開發作業。由業界領導者在 AI 模型建立、軟體和硬體建構。
社群會議 2024/12/17 @9AM PT
秋季開發實驗室的簡報和錄影內容現已開放下載!

XLA

XLA (加速線性代數) 是機器學習的開放原始碼編譯器。XLA 編譯器會從 PyTorch、TensorFlow 和 JAX 等熱門架構取得模型,並經過最佳化調整,以便在不同硬體平台 (包括 GPU、CPU 和機器學習加速器) 之間執行高效能執行作業。
XLA 已預先為許多機器學習架構建構。如要瞭解如何在這類情況下使用 XLA,請參閱說明文件和個別架構頁面。
XLA 說明文件涵蓋一些基本和進階主題,例如如何整合新的 PJRT 外掛程式、實作新的 XLA 後端,以及最佳化 XLA 程式執行階段。

StableHLO

StableHLO 是適用於機器學習 (ML) 模型中的高階作業 (HLO) 作業集。基本上,這是不同機器學習架構和機器學習編譯器之間的可攜性層:產生 StableHLO 程式的機器學習架構與採用 StableHLO 程式的機器學習編譯器相容。
StableHLO 說明文件涵蓋許多主題,例如 StableHLO OpSet 的規格,以及如何從常見的機器學習架構匯出 StableHLO 圖表。

Shardy

Shardy 是以 MLIR 為基礎且適用於所有方言的張量分區系統,這項工具是由 GSPMD 和 PartIR 團隊共同打造,結合了兩套系統的優點,以及兩個團隊和使用者共同分享的經驗。
Shardy 說明文件的內容涵蓋資料分割概念、方言總覽,以及入門教學課程,說明如何透過 JAX 使用 Shardy,或將 Shardy 整合至自訂 MLIR 管道。

PJRT

PJRT 是機器學習編譯器和執行階段的硬體和架構獨立介面。目前包含在 XLA 分佈中。如要進一步瞭解如何使用及整合 PJRT,請參閱 XLA GitHub 和說明文件。

Community

加入 Openxla-discuss 郵寄清單,取得發布、活動和其他重大更新的最新資訊。這也是我們進行設計與開發討論的主要管道。
加入 OpenXLA Discord,參與 XLA 和 StableHLO 主題的即時通訊。
我們每個月都會在太平洋時間 2 月 2 日或第 3 個星期二上午 9 點,透過 Google Meet 召開會議。如要瞭解具體日期和主題,請參閱會議文件或 Openxla-discuss。
掌握 OpenXLA 社群的最新消息和公告。
我們歡迎社群成員助您一臂之力。詳情請參閱我們的貢獻規範。

產業合作夥伴

OpenXLA 專案是由頂尖的機器學習軟硬體機構合作開發。
阿里巴巴標誌

阿里巴巴

「在阿里巴巴,Elastic GPU Service 客戶利用 OpenXLA 訓練及提供大型 PyTorch 模型。我們發現,使用 OpenXLA 的客戶效能大幅提升,其中 GPT2 速度明顯提升 72%,而 Swin Transformer 上的 Swin Transformer 則是 88%。我們很榮幸能成為 OpenXLA Project 的創始成員,與開放原始碼社群合作,共同開發先進的機器學習編譯器,可為 Alibaba Cloud 客戶提供卓越的效能和使用者體驗。」- 阿里巴巴 AI 與資料分析部門副總裁 Yangqing Jia

Amazon Web Services 標誌

Amazon Web Services

「我們很高興能夠成為 OpenXLA 計畫的創始成員。這項計畫將開放更多人使用高效能、可擴充且可擴充的 AI 基礎架構,以及在開放原始碼社群中進一步合作,推動創新。在 AWS,我們的客戶透過 AWS Trainium 和 Inferentia 擴充生成式 AI 應用程式,而 Neuron SDK 則仰賴 XLA 將機器學習模型調整至最佳狀態,以提升每瓦效能和最佳效能。有了強大的 OpenXLA 生態系統,開發人員就能透過永續的機器學習基礎架構推動創新並提供卓越效能,而且知道他們的程式碼可攜至任何硬體。」- AWS 副總裁暨特許工程師 Nafea Bshara

AMD 標誌

AMD

「我們相當期待在廣泛 AMD 裝置 (CPU、GPU、AIE) 上使用 OpenXLA 的未來發展,對於能加入這個社群感到自豪。我們重視開放管理、靈活且廣泛應用的專案,以及先進的功能和頂尖效能,也很期待能繼續合作,拓展機器學習開發人員的開放原始碼生態系統。」- AMD 軟體開發部門企業副總裁 Alan Lee

Anyscale 標誌

不限規模

「Anyscale 開發諸如 Ray 這類可擴充的開放技術,幫助 AI 從業人員加速開發應用程式,並提供給更多使用者。我們最近與 ALPA 專案合作,使用 OpenXLA 大規模執行大型語言模型的高效能模型訓練作業。我們很高興參與 OpenXLA,也很高興這項開放原始碼計畫可以有效在更多硬體平台上有效執行 AI 工作負載,進而降低進入障礙、降低成本,並加快 AI 領域的進展。」- Anyscale 技術長 Philipp Moritz

Apple 標誌

蘋果

Apple Inc. 的設計、製造和市場為智慧型手機、個人電腦、平板電腦、穿戴式裝置和配件,以及銷售各種相關服務。

Arm 標誌

實驗組

「OpenXLA 專案在簡化機器學習軟體開發流程中,標示出重要的里程碑。我們對於 OpenXLA 的使命得到充分支援,也很期待能在 Arm® NeoverseTM 軟硬體藍圖中運用 OpenXLA 穩定性和標準化流程。」- Arm® NeoverseTM 軟硬體藍圖中,Eter Greenhalgh 。

Cerebras 標誌

塞雷布拉斯

「Cerebras 為我們打造出 AI 加速器,就算是最大的 AI 模型,也能輕鬆快速地完成訓練。我們的系統和軟體可滿足使用者的需求,因此您可以使用標準機器學習架構,迅速進行開發、資源調度及疊代。OpenXLA 為 Cerebras Wafer-Scale Engine 提供更高等級的機器學習架構通用介面,有助我們擴大使用者觸及範圍並縮短解決方案所需的時間。我們非常高興看到 OpenXLA 生態系統能讓更多人在 GitHub 參與、貢獻和使用。」 - Cerebras Systems 副總裁兼產品主管 Andy Hock

Google 標誌

Google

「開放原始碼軟體讓每個人都有機會在 AI 中創造突破性技術。Google 與 OpenXLA 專案攜手合作,進一步推動我們對開放原始碼技術的承諾,並促進 AI 工具的採用,希望能提高機器學習效能的標準,解決架構和硬體之間的不相容問題,並且可重新調整,以滿足開發人員量身打造的用途。我們很高興能與 OpenXLA 社群一起開發這些工具,幫助開發人員在 AI 堆疊的多個層面上推動進展。」- Google 研究與 AI 資深研究員及資深副總裁 Jeff Dean

Graphcore 標誌

石墨色

「我們的 IPU 編譯器管道在公開發布後一直使用 XLA。多虧 XLA 的平台獨立性和穩定性,它提供絕佳的前端介面,可展現創新的晶片。XLA 的靈活性讓我們得以公開 IPU 的新硬體功能,並利用多個架構實現最先進的硬體效能。每天有數百萬次查詢由執行 XLA 編譯程式碼的系統提供。我們對於 OpenXLA 的發展很期待,並希望能繼續為開放原始碼專案貢獻心力。我們相信在未來的 AI/機器學習技術,這項技術將成為核心要素。」- Graphcore 軟體設計總監 David Norman

Hugging Face 標誌

Hugging Face

「讓任何硬體都能輕鬆執行模型是相當艱鉅的技術挑戰,而我們希望實現優質機器學習的使命就是其中一個重要目標。我們在 Hugging Face 中,為 TensorFlow 文字生成模型啟用 XLA,速度達到約 100 倍。此外,我們與 Intel、AWS、Habana、Graphcore、AMD、Qualcomm 和 Google 的工程團隊密切合作,共同建構架構與各晶片之間的開放原始碼橋接器,透過 Optimum 程式庫為使用者提供了立即可用的效率。OpenXLA 提供標準化的構成元素,讓我們得以建置所需的互通性,我們很期待跟上腳步並貢獻心力!」- Hugging Face 機器學習最佳化部門主管 Morgan Funtowicz

Intel 標誌

Intel

「Intel 相信讓 AI 普及化,讓所有人都能使用 AI。Intel CPU、GPU、Habana Gaudi 加速器,以及採用 OpenVINO 等單一 API 技術輔助的 AI 軟體,能推動機器學習工作負載,從大規模超級電腦到主要雲端部署都能推動。我們與其他 OpenXLA 成員攜手合作,支援標準型的元件化機器學習編譯器工具,可在多個架構和硬體環境中推動創新,加快改變世界的科學與研究速度。」- 情報與進階技術集團技術長暨技術長暨總經理 Greg Lavender

Meta 標誌

Meta

「在 Meta AI 的研究中,運用 OpenXLA 專案的核心技術 XLA,為 Cloud TPU 啟用 PyTorch 模型,並在重要專案中大幅提升效能。我們相信開放原始碼能加速全球的創新步調,也很開心能參與 OpenXLA 專案。」 - PyTorch 首席維護人員 Soumith Chintala

NVIDIA 標誌

NVIDIA

「NVIDIA 是 OpenXLA Project 的創始成員,很期待能與 OpenXLA 社群共同推動 AI/機器學習技術的進展,同時讓機器學習開發人員在更廣泛的參與度和採用 OpenXLA 後,能為機器學習開發人員提供最先進的 AI 基礎架構。」- NVIDIA - Compiler Software 副總裁 Roger Bringmann。

聯絡資訊

如有直接問題,請前往 openxla.org 與維護人員聯絡