Um ecossistema aberto de componentes de infraestrutura de machine learning (ML) portáteis, extensíveis e com desempenho que simplificam o desenvolvimento de ML desfragmentando as ferramentas entre frameworks de front-end e back-ends de hardware. Criado por líderes do setor em modelagem de IA, software e hardware.
Reunião da comunidade 18/06/2024 às 9h (Horário do Pacífico)
OpenXLA Dev Lab, abril de 2024: como criar sistemas de ML inovadores juntos

Álgebra linear acelerada (XLA, na sigla em inglês)

A álgebra linear acelerada (XA, na sigla em inglês) é um compilador de código aberto para machine learning. O compilador XLA usa modelos de frameworks conhecidos, como PyTorch, TensorFlow e JAX, e os otimiza para execução de alto desempenho em diferentes plataformas de hardware, incluindo GPUs, CPUs e aceleradores de ML.
O XLA vem pré-criado para muitos frameworks de ML. Para informações sobre como usar XLA nesses casos, consulte a documentação e as páginas individuais do framework.
A documentação de XLA abrange vários tópicos básicos e avançados, por exemplo, como integrar um novo plug-in PJRT, implementar um novo back-end de XLA e otimizar o tempo de execução do programa do XLA.

StableHLO

StableHLO é um conjunto para operações de alto nível (HLO) em modelos de machine learning (ML). Essencialmente, é uma camada de portabilidade entre diferentes frameworks e compiladores de ML: frameworks de ML que produzem programas StableHLO são compatíveis com compiladores de ML que consomem programas StableHLO.
A documentação do StableHLO abrange vários tópicos, como a especificação do OpSet do StableHLO e como exportar gráficos do StableHLO de frameworks comuns de ML.

PJRT

PJRT é uma interface independente de hardware e framework para compiladores e ambientes de execução de ML. No momento, ele está incluído na distribuição XLA. Consulte o GitHub e a documentação do XLA para mais informações sobre como usar e integrar o PJRT.

Comunidade

Participe da lista de e-mails do openxla-discuss para obter notícias sobre lançamentos, eventos e outras atualizações importantes. Esse também é nosso principal canal para discussões de design e desenvolvimento.
Entre no Discord do OpenXLA para participar de chats sobre temas do XLA e do StableHLO.
As reuniões são realizadas todo mês pelo Google Meet, na segunda ou 3a terça-feira, às 9h (Horário do Pacífico). Consulte o documento da reunião ou o openxla-discuss para saber datas e tópicos específicos.
Contribuições da comunidade são bem-vindas. Consulte nossas diretrizes de contribuição para mais informações.

Parceiros do setor

O projeto OpenXLA é desenvolvido em colaboração pelas principais organizações de hardware e software de ML.
Logotipo do Alibaba

Alibaba

“No Alibaba, o OpenXLA é aproveitado pelos clientes do Elastic GPU Service para treinamento e disponibilização de grandes modelos PyTorch. Observamos melhorias significativas no desempenho para clientes que usam o OpenXLA, especialmente velocidades de 72% para GPT2 e 88% para Swin Transformer em GPUs NVIDIA. Temos orgulho de ser um membro fundador do projeto OpenXLA e trabalhar com a comunidade de código aberto para desenvolver um compilador de ML avançado que proporcione desempenho e experiência do usuário superiores para os clientes do Alibaba Cloud.” - Yangqing Jia, VP, IA e análise de dados, Alibaba

Logotipo da Amazon Web Services

Amazon Web Services

“Estamos felizes em ser um dos membros fundadores do Projeto OpenXLA, que vai democratizar o acesso a infraestruturas de IA eficientes, escalonáveis e extensíveis, além de maior colaboração com a comunidade de código aberto para promover a inovação. Na AWS, nossos clientes escalonam seus aplicativos de IA generativa no AWS Trainium e Inferentia, e nosso SDK Neuron depende de XLA para otimizar modelos de ML para alto desempenho e o melhor desempenho por watt. Com um robusto ecossistema OpenXLA, os desenvolvedores podem continuar inovando e oferecendo ótimo desempenho com uma infraestrutura sustentável de ML. Eles sabem que o código é portátil para uso em qualquer hardware." - Nafea Bshara, vice-presidente e engenheiro renomado da AWS

Logotipo da AMD

AMD

“Estamos empolgados com a direção futura do OpenXLA na ampla família de dispositivos AMD (CPUs, GPUs, AIE) e temos orgulho de fazer parte dessa comunidade. Valorizamos projetos com governança aberta, aplicabilidade flexível e ampla, recursos modernos e desempenho de alto nível. Estamos ansiosos pela colaboração contínua para expandir o ecossistema de código aberto para desenvolvedores de ML." – Alan Lee, vice-presidente corporativo, desenvolvimento de software da AMD

Logotipo da Anyscale

Qualquer escala

"A Anyscale desenvolve tecnologias abertas e escalonáveis, como o Ray, para ajudar os profissionais de IA a desenvolver aplicativos com mais rapidez e disponibilizá-los a mais usuários. Recentemente, fizemos uma parceria com o projeto ALPA para usar o OpenXLA e mostrar treinamento de modelos de alto desempenho para modelos de linguagem grandes em grande escala. Estamos felizes em participar do OpenXLA e empolgados com a forma como essa iniciativa de código aberto permite a execução eficiente de cargas de trabalho de IA em uma variedade maior de plataformas de hardware, reduzindo a barreira de entrada, reduzindo custos e avançando o campo da IA mais rapidamente." – Philipp Moritz, CTO, Anyscale

Logo da Apple

Apple

A Apple Inc. projeta, fabrica e comercializa smartphones, computadores pessoais, tablets, wearables e acessórios, além de vender uma variedade de serviços relacionados.

Logotipo da Arm

Arm

“O projeto OpenXLA marca um marco importante no caminho para simplificar o desenvolvimento de software de ML. Apoiamos totalmente a missão OpenXLA e esperamos aproveitar a estabilidade e a padronização do OpenXLA nos roteiros de hardware e software Arm® NeoverseTM." - Peter Greenhalgh, vice-presidente de tecnologia e membro da Arm.

Logotipo da Cerebras

Cerebras

“Na Cerebras, criamos aceleradores de IA projetados para tornar o treinamento até dos maiores modelos de IA rápido e fácil. Nossos sistemas e softwares atendem aos usuários onde eles estão, permitindo desenvolvimento, escalonamento e iteração rápidos com frameworks de ML padrão sem mudanças. O OpenXLA ajuda a estender nosso alcance de usuários e acelerou o tempo até a solução, fornecendo ao Cerebras Wafer-Scale Engine uma interface comum para frameworks de ML de nível superior. Estamos extremamente entusiasmados com a disponibilidade do ecossistema OpenXLA para o envolvimento, a contribuição e o uso ainda mais amplos da comunidade no GitHub.” - Andy Hock, vice-presidente e chefe de produto, Cerebras Systems

Logotipo do Google

Serviços

“Com o software de código aberto, todos têm a oportunidade de ajudar a criar inovações em IA. O Google está colaborando no Projeto OpenXLA para promover nosso compromisso com o código aberto e promover a adoção de ferramentas de IA que elevam o padrão de desempenho do ML, abordam as incompatibilidades entre frameworks e hardware e são reconfiguráveis para atender a casos de uso personalizados dos desenvolvedores. Temos o prazer de desenvolver essas ferramentas com a comunidade OpenXLA para que os desenvolvedores possam promover avanços em muitas camadas diferentes da pilha de IA.” - Jeff Dean, pesquisador sênior e vice-presidente sênior do Google Research e AI

Logotipo da Graphcore

Gesto grafcore

“Nosso pipeline do compilador IPU usou XLA desde que se tornou público. Graças à independência e estabilidade da plataforma do XLA, ele fornece um front-end ideal para criar novos sistemas de silício. A flexibilidade do XLA nos permitiu expor os novos recursos de hardware de nossa IPU e alcançar o desempenho de última geração com várias estruturas. Milhões de consultas por dia são atendidas por sistemas que executam código compilado por XLA. Estamos entusiasmados com a direção do OpenXLA e esperamos continuar contribuindo com o projeto de código aberto. Acreditamos que isso vai formar um componente central no futuro da IA/ML." - David Norman, diretor de design de software, Graphcore

Logotipo de rosto abraçado

Hugging face

"Facilitar a execução eficiente de qualquer modelo em qualquer hardware é um grande desafio técnico e uma meta importante da nossa missão de democratizar o machine learning. Na Hugging Face, ativamos o XLA para modelos de geração de texto do TensorFlow e alcançamos velocidades de aproximadamente 100 vezes. Além disso, colaboramos de perto com as equipes de engenharia da Intel, AWS, Habana, Graphcore, AMD, Qualcomm e Google, criando pontes de código aberto entre estruturas e cada silício, para oferecer eficiência imediata aos usuários finais por meio da nossa biblioteca Optimum. O OpenXLA promete blocos padronizados sobre os quais podemos construir a interoperabilidade necessária, e mal podemos esperar para acompanhar e contribuir!" - Morgan Funtowicz, diretor de otimização do aprendizado de máquina, Hugging Face

Logotipo da Intel

Intel

“Na Intel, acreditamos no acesso aberto e democratizado à IA. As CPUs Intel, as GPUs, os aceleradores de Habana Gaudí e o software de IA com tecnologia oneAPI, incluindo o OpenVINO, impulsionam as cargas de trabalho de ML em todos os lugares, de supercomputadores exascale a grandes implantações na nuvem. Junto com outros membros do OpenXLA, buscamos oferecer suporte a ferramentas de compilador de ML baseadas em padrões e componentes que impulsionam a inovação em vários frameworks e ambientes de hardware para acelerar a ciência e a pesquisa que mudam o mundo.” - Greg Lavender, SVP da Intel, CTO e gerente geral de Software e Advanced Technology Group

Logotipo da Meta

Meta

“Na pesquisa, na Meta AI, temos usado a XLA, uma tecnologia central do projeto OpenXLA, para habilitar modelos PyTorch para Cloud TPUs e conseguimos melhorias significativas de desempenho em projetos importantes. Acreditamos que o código aberto acelera o ritmo da inovação no mundo e estamos felizes por fazer parte do projeto OpenXLA.” - Soumith Chintala, mantenedor líder, PyTorch

Logotipo da NVIDIA

NVIDIA

“Como membro fundador do Projeto OpenXLA, a NVIDIA está ansiosa para colaborar nos avanços de IA/ML com a comunidade do OpenXLA e temos certeza de que, com um maior engajamento e adoção do OpenXLA, os desenvolvedores de ML terão uma infraestrutura de IA de última geração.” - Roger Bringmann, VP, Software Compiler, NVIDIA.

Contato

Para perguntas diretas, entre em contato com os mantenedores em openxla.org