一个由高性能、可移植、可扩展的机器学习 (ML) 基础架构组件组成的开放生态系统,通过对前端框架和硬件后端之间的工具进行碎片整理来简化机器学习开发。由 AI 建模、软件和硬件领域的行业领导者构建。
社区会议 2024 年 12 月 17 日上午 9:00(美国太平洋时间)
秋季开发者实验室的幻灯片和录音现已发布!

XLA

XLA(加速线性代数)是一种开源机器学习编译器。XLA 编译器从 PyTorch、TensorFlow 和 JAX 等热门框架获取模型,并优化模型以便在不同硬件平台(包括 GPU、CPU 和机器学习加速器)上实现高性能执行。
XLA 为许多机器学习框架预构建。如需了解如何在这些情况下使用 XLA,请参阅文档和各个框架页面。
XLA 文档涵盖了许多基本和高级主题,例如如何集成新的 PJRT 插件、实现新的 XLA 后端,以及优化 XLA 程序运行时。

StableHLO

StableHLO 是机器学习 (ML) 模型中高级操作 (HLO) 的运算集。从本质上讲,它是不同机器学习框架和机器学习编译器之间的可移植层:生成 StableHLO 程序的机器学习框架与使用 StableHLO 程序的机器学习编译器兼容。
StableHLO 文档涵盖了许多主题,例如 StableHLO OpSet 的规范,以及如何从常见机器学习框架中导出 StableHLO 图。

Shardy

Shardy 是一种基于 MLIR 的张量分区系统,适用于所有方言。该工具由 GSPMD 团队和 PartIR 团队联合打造,融合了这两个系统的优势,并吸收了团队和用户的共同经验。
Shardy 文档介绍了分片概念、方言概览,以及有关从 JAX 使用 Shardy 或将 Shardy 集成到自定义 MLIR 流水线的入门教程。

PJRT

PJRT 是适用于机器学习编译器和运行时的独立于硬件和框架的接口。目前,它包含在 XLA 发行版中。如需详细了解如何使用和集成 PJRT,请参阅 XLA GitHub 和文档。

社区

加入 openxla-think 邮件列表,获取有关版本、活动和其他重大更新的资讯。这也是我们讨论设计和开发的主要渠道。
加入 OpenXLA Discord 即可参与有关 XLA 和 StableHLO 主题的聊天。
会议会在每月的太平洋时间 2 或 3 日上午 9 点通过 Google Meet 举行。有关具体日期和主题,请参阅会议文档或 openxla-forum。
及时了解来自 OpenXLA 社区的所有最新资讯和公告。
我们欢迎社区成员做出贡献。如需了解详情,请参阅我们的内容贡献准则。

行业合作伙伴

OpenXLA 项目由领先的机器学习硬件和软件组织合作开发。
阿里巴巴徽标

阿里巴巴

“在阿里巴巴,Elastic GPU Service 客户利用 OpenXLA 来训练和服务大型 PyTorch 模型。我们发现,使用 OpenXLA 的客户在性能方面得到了显著提升,特别是在 NVIDIA GPU 上将 GPT2 和 Swin Transformer 提升速度分别提高了 72% 和 88%。我们很自豪能够成为 OpenXLA 项目的创始成员,并与开源社区合作开发先进的机器学习编译器,为阿里云云客户提供卓越的性能和用户体验。”- Yangqing Jia,阿里巴巴 AI 和数据分析副总裁

Amazon Web Services 徽标

Amazon Web Services

“我们很高兴能成为 OpenXLA 项目的创始成员,该项目将让更多人使用高性能、可扩缩和可扩展的 AI 基础架构,并通过开源社区进一步开展协作,推动创新。AWS 的客户将他们的生成式 AI 应用扩展到 AWS Trainium 和 Inferentia,而我们的 Neuron SDK 则依靠 XLA 来优化机器学习模型,从而实现高性能和一流的每瓦特性能。有了强大的 OpenXLA 生态系统,开发者可以持续创新,通过可持续的机器学习基础架构提供出色的性能,并且知道他们的代码可以移植到所选的硬件上。”- Nafea Bshara,AWS 副总裁兼杰出工程师

AMD 徽标

AMD

“我们非常期待 OpenXLA 在各类 AMD 设备(CPU、GPU、AIE)上的未来发展方向,并为能成为这个社区的一员而感到自豪。我们重视具有开放治理、灵活和广泛适用性、先进功能和顶尖性能的项目,期待继续合作,为机器学习开发者拓展开源生态系统。” - Alan Lee,AMD 软件开发部公司副总裁

Anyscale 徽标

任意规模

“Anyscale 公司像 Ray 一样开发开放、可扩展的技术,帮助 AI 从业者更快地开发应用并提供给更多用户。最近,我们与 ALPA 项目合作,使用 OpenXLA 大规模展示适用于大语言模型的高性能模型训练。我们非常高兴参加 OpenXLA,也很高兴看到这项开源工作能够在更广泛的硬件平台上高效运行 AI 工作负载,从而降低进入门槛、降低成本并更快地推进 AI 领域。”- Anyscale 首席技术官 Philipp Moritz

Apple 徽标

苹果

Apple Inc. 设计、制造和营销智能手机、个人计算机、平板电脑、穿戴式设备和配件,并销售各种相关服务。

Arm 徽标

Arm

“OpenXLA 项目标志着在简化机器学习软件开发道路上的一个重要里程碑。我们完全支持 OpenXLA 的使命,并期待在 Arm® NeoverseTM 硬件和软件路线图中利用 OpenXLA 的稳定性和标准化功能。”- Arm 技术副总裁兼研究员 Peter Greenhalgh

Cerebras 徽标

大脑

“Cerebras 构建了 AI 加速器,旨在让训练规模最大的 AI 模型变得轻松快捷。我们的系统和软件可以满足用户的需求,让您能够使用标准机器学习框架快速进行开发、扩缩和迭代,而无需更改任何变更。OpenXLA 通过为 Cerebras Wafer-Scale Engine 提供指向更高层级机器学习框架的通用接口,帮助我们扩大了用户覆盖范围,并加快了获得解决方案的速度。我们非常高兴看到 OpenXLA 生态系统在 GitHub 上为更广泛的社区参与、贡献和使用提供助力。”- Andy Hock,Cerebras Systems 副总裁兼产品主管

Google 徽标

Google

“开源软件让每个人都有机会帮助在 AI 领域取得突破。在 Google,我们正在就 OpenXLA 项目开展协作,以进一步强化我们对开源的承诺,并促进对 AI 工具的采用。这些工具能够提高机器学习性能的标准,解决框架和硬件之间的不兼容性问题,并且可以重新配置,从而满足开发者的定制用例。我们很高兴能与 OpenXLA 社区一起开发这些工具,以便开发者能够在 AI 堆栈的许多不同层面上推动进步。”- Jeff Dean,Google 研究和 AI 部高级副总裁兼高级副总裁

Graphcore 徽标

方格核

“自 XLA 上市以来,我们的 IPU 编译器管道就使用了它。得益于 XLA 的平台独立性和稳定性,它提供了一个理想的前端,有助于开发出新型芯片。XLA 的灵活性使我们能够公开 IPU 的新硬件功能,并通过多个框架实现一流的性能。每天由运行 XLA 编译的代码的系统处理数百万次查询。我们对 OpenXLA 的发展方向感到非常兴奋,并希望继续为开源项目做贡献。我们相信,它将成为 AI/机器学习的未来核心组件。”- David Norman,Graphcore 软件设计总监

Hugging Face 徽标

Hugging Face

“在任何硬件上轻松高效运行任何模型是一项深层技术挑战,也是我们致力于普及良好机器学习的使命的一个重要目标。在 Hugging Face 上,我们为 TensorFlow 文本生成模型启用了 XLA,并实现了约 100 倍的提速。此外,我们还与 Intel、AWS、Habana、Graphcore、AMD、Qualcomm 和 Google 的工程团队密切合作,在框架和每个芯片之间构建开源桥梁,通过我们的 Optimum 库为最终用户提供开箱即用的效率。OpenXLA 承诺提供标准化构建块,我们可以通过这些构建块构建非常需要的互操作性,我们迫不及待地想要跟进并做出贡献!”- Morgan Funtowicz,Hugging Face 机器学习优化主管

Intel 徽标

Intel

“Intel 坚信,要让 AI 的使用能够开放、民主化。Intel CPU、GPU、Habana Gaudi 加速器和由 OneAPI 提供支持的 AI 软件(包括 OpenVINO)可以在任何地方驱动机器学习工作负载,从百亿亿级超级计算机到大型云部署。我们与其他 OpenXLA 成员一起,努力支持基于标准的组件化机器学习编译器工具,这些工具能够推动多个框架和硬件环境之间的创新,从而加速改变世界变革的科学研究。”- Greg Lavender,Intel 软件与高级技术部首席技术官兼总经理

Meta 徽标

Meta

“在 Meta AI 的研究阶段,我们一直在使用 OpenXLA 项目的核心技术 XLA,为 Cloud TPU 启用 PyTorch 模型,并显著提升了重要项目的性能。我们相信开源会加快全世界的创新步伐,并且对参与 OpenXLA 项目感到非常兴奋。”- Soumith Chintala,PyTorch 首席维护者

NVIDIA 徽标

NVIDIA

“作为 OpenXLA 项目的创始成员,NVIDIA 期待与 OpenXLA 社区合作推进 AI/机器学习方面的进展,并坚信,随着更多人参与 OpenXLA,机器学习开发者将获享先进的 AI 基础设施。”- Roger Bringmann,NVIDIA 编译器软件部副总裁。

Contact

如有直接问题,请联系维护者(openxla.org 上的维护者)