Um ecossistema aberto de componentes de infraestrutura de machine learning (ML) de alto desempenho, portáteis e extensíveis que simplificam o desenvolvimento de ML desfragmentando as ferramentas entre os frameworks de front-end e os back-ends de hardware. Desenvolvido por líderes do setor em modelagem de IA, software e hardware.
Um compilador de machine learning (ML) para GPUs, CPUs e aceleradores de ML.
Opset portátil para exportação de framework, entrada do compilador e redução independente de hardware.
Uma interface independente de hardware e framework para compiladores e ambientes de execução de ML.

Participe da comunidade OpenXLA

Participe da lista de e-mails da openxla-announce para receber notícias sobre lançamentos, eventos e outras atualizações importantes.
Participe da lista de e-mails do openxla-discuss para discussões de design e desenvolvimento.
Analise anotações de reuniões anteriores e adicione as próximas reuniões à sua agenda.
Acesse o projeto OpenXLA e os repositórios no GitHub.

Contribuir com OpenXLA

Estes tutoriais o ajudarão a começar como colaborador do OpenXLA.
O XLA (álgebra linear acelerada) é um compilador de código aberto para machine learning. O compilador XLA usa modelos de frameworks conhecidos, como PyTorch, TensorFlow e JAX, e os otimiza para execução de alto desempenho em diferentes plataformas de hardware, incluindo GPUs, CPUs e aceleradores de ML.
Comece a desenvolver o projeto do XLA.
StableHLO é um conjunto para operações de alto nível (HLO) em modelos de machine learning (ML). Essencialmente, é uma camada de portabilidade entre diferentes frameworks e compiladores de ML: frameworks de ML que produzem programas StableHLO são compatíveis com compiladores de ML que consomem programas StableHLO.
Documentação de referência para operações do XLA e do StableHLO.

Parceiros do setor

O projeto OpenXLA é desenvolvido em colaboração pelas principais organizações de hardware e software de ML.
Logotipo da Alibaba

Alibaba

“No Alibaba, o OpenXLA é aproveitado pelos clientes do Elastic GPU Service para treinamento e disponibilização de grandes modelos PyTorch. Observamos melhorias significativas no desempenho para os clientes que usam o OpenXLA, especialmente velocidades de 72% para GPT2 e 88% para Swin Transformer em GPUs NVIDIA. Temos orgulho de ser um membro fundador do projeto OpenXLA e de trabalhar com a comunidade de código aberto para desenvolver um compilador de ML avançado que proporcione desempenho e experiência do usuário superiores aos clientes do Alibaba Cloud." – Yangqing Jia, vice-presidente de IA e análise de dados, Alibaba

Logotipo da Amazon Web Services

Amazon Web Services

“Estamos felizes em ser um dos membros fundadores do Projeto OpenXLA, que vai democratizar o acesso a infraestruturas de IA extensíveis, escalonáveis e de alto desempenho, além de aumentar a colaboração na comunidade de código aberto para promover a inovação. Na AWS, nossos clientes escalonam os aplicativos de IA generativa no AWS Trainium e Inferentia, e nosso SDK Neuron depende do XLA para otimizar os modelos de ML com alto desempenho e o melhor desempenho por watt. Com um robusto ecossistema OpenXLA, os desenvolvedores podem continuar inovando e oferecendo ótimo desempenho com uma infraestrutura de ML sustentável, sabendo que o código é portátil e fácil de usar em qualquer hardware.” - Nafea Bshara, vice-presidente e engenheiro em destaque da AWS

Logotipo da AMD

AMD

“Estamos animados com a direção do OpenXLA na ampla família de dispositivos AMD (CPUs, GPUs, AIE) e temos orgulho de fazer parte dessa comunidade. Valorizamos projetos com governança aberta, aplicabilidade flexível e ampla, recursos modernos e desempenho de alto nível. Estamos ansiosos para a colaboração contínua para expandir o ecossistema de código aberto para desenvolvedores de ML." – Alan Lee, vice-presidente corporativo de desenvolvimento de software da AMD

Logotipo da Anyscale

Qualquer escala

"A Anyscale desenvolve tecnologias abertas e escalonáveis, como o Ray, para ajudar os usuários de IA a desenvolver aplicativos com mais rapidez e disponibilizá-los a mais usuários. Recentemente, fizemos uma parceria com o projeto ALPA para usar o OpenXLA e mostrar o treinamento de modelos de alto desempenho em grande escala para modelos de linguagem grande. Ficamos felizes em participar do OpenXLA e entusiasmados como esse esforço de código aberto permite executar cargas de trabalho de IA em uma variedade maior de plataformas de hardware de forma eficiente, reduzindo a barreira de entrada, reduzindo custos e avançando no campo da IA com mais rapidez." – Philipp Moritz, CTO, Anyscale

Logo da Apple

Apple

A Apple Inc. projeta, fabrica e comercializa smartphones, computadores pessoais, tablets, wearables e acessórios, além de vender uma variedade de serviços relacionados.

Logotipo da Arm

Arm

“O projeto OpenXLA marca um marco importante no caminho para a simplificação do desenvolvimento de software de ML. Apoiamos totalmente a missão do OpenXLA e esperamos aproveitar a estabilidade e a padronização do OpenXLA em todos os roteiros de hardware e software do Arm® NeoverseTM." – Peter Greenhalgh, vice-presidente de tecnologia e membro da Arm.

Logotipo da Cerebras

Cerebras

“Na Cerebras, criamos aceleradores de IA projetados para tornar o treinamento até mesmo dos maiores modelos de IA rápido e fácil. Nossos sistemas e software atendem aos usuários onde eles estiverem, permitindo um rápido desenvolvimento, escalonamento e iteração usando frameworks de ML padrão sem mudanças. O OpenXLA ajuda a aumentar o alcance de usuários e acelerar o tempo de solução ao fornecer ao Cerebras Wafer-Scale Engine uma interface comum para frameworks de ML de nível superior. Estamos extremamente empolgados para ver o ecossistema OpenXLA disponível para o envolvimento, a contribuição e o uso ainda mais amplos da comunidade no GitHub." – Andy Hock, VP e chefe de produto, Cerebras Systems

Logotipo do Google

Serviços

“O software de código aberto dá a todos a oportunidade de ajudar a criar inovações em IA. No Google, estamos colaborando no projeto OpenXLA para promover nosso compromisso com o código aberto e promover a adoção de ferramentas de IA que elevam o padrão de desempenho de ML, resolvem as incompatibilidades entre frameworks e hardware e são reconfiguráveis para atender a casos de uso personalizados pelos desenvolvedores. Estamos felizes em desenvolver essas ferramentas com a comunidade do OpenXLA para que os desenvolvedores possam promover avanços em muitas camadas diferentes da pilha de IA." – Jeff Dean, vice-presidente sênior, pesquisa e IA do Google

Logotipo da Graphcore

Graphcore

“Nosso pipeline do compilador IPU usou XLA desde que se tornou público. Graças à independência e estabilidade da plataforma do XLA, ele fornece um front-end ideal para criar novos componentes de silício. A flexibilidade do XLA nos permitiu expor os novos recursos de hardware da nossa IPU e alcançar o desempenho de última geração com várias estruturas. Milhões de consultas por dia são atendidas por sistemas que executam um código compilado pelo XLA. Estamos entusiasmados com a direção do OpenXLA e esperamos continuar contribuindo com o projeto de código aberto. Acreditamos que ela será um componente essencial no futuro da IA/ML." – David Norman, diretor de design de software, Graphcore

Logotipo de Hugging Face

Rosto abraçado

“Facilitar a execução eficiente de qualquer modelo em qualquer hardware é um grande desafio técnico e um objetivo importante da nossa missão de democratizar o aprendizado de máquina. Na Hugging Face, disponibilizamos o XLA para modelos de geração de texto do TensorFlow e alcançamos velocidades de aproximadamente 100 vezes. Além disso, colaboramos estreitamente com as equipes de engenharia da Intel, AWS, Habana, Graphcore, AMD, Qualcomm e Google, criando pontes de código aberto entre estruturas e cada silício, para oferecer eficiência imediata aos usuários finais por meio da nossa biblioteca Optimum. O OpenXLA promete elementos básicos padronizados sobre os quais podemos criar a interoperabilidade necessária, e mal podemos esperar para acompanhar e contribuir!" — Morgan Funtowicz, diretor de otimização de machine learning, Hugging Face

Logotipo da Intel

Intel

“Na Intel, acreditamos no acesso aberto e democratizado à IA. As CPUs Intel, as GPUs, os aceleradores Habana Gaudi e o software de IA com tecnologia oneAPI, incluindo o OpenVINO, impulsionam as cargas de trabalho de ML em todos os lugares, desde supercomputadores exascale até grandes implantações na nuvem. Junto com outros membros da OpenXLA, buscamos oferecer suporte a ferramentas de compilador de ML baseadas em padrões e componentes que impulsionam a inovação em várias estruturas e ambientes de hardware para acelerar a ciência e a pesquisa que mudam o mundo.” - Greg Lavender, vice-presidente sênior da Intel, CTO e gerente geral de software e grupo de tecnologia avançada

Logotipo da Meta

Meta

“Na pesquisa, na Meta AI, temos usado o XLA, uma tecnologia central do projeto OpenXLA, para possibilitar modelos PyTorch para Cloud TPUs e conseguimos melhorias significativas de desempenho em projetos importantes. Acreditamos que o código aberto acelera o ritmo da inovação no mundo e estamos animados por fazer parte do projeto OpenXLA." – Soumith Chintala, mantenedor líder, PyTorch

Logotipo da NVIDIA

NVIDIA

“Como membro fundador do Projeto OpenXLA, a NVIDIA pretende colaborar com os avanços em IA/ML com a comunidade do OpenXLA. Temos certeza de que, com um maior engajamento e adoção do OpenXLA, os desenvolvedores de ML terão uma infraestrutura de IA de última geração." - Roger Bringmann, vice-presidente, software compilador, NVIDIA.