OpenXLA
Sự kiện sắp tới
OpenXLA Dev Lab tháng 4 năm 2024
XLA
Giới thiệu
Cài đặt/Sử dụng
Tài liệu
StableHLO
Giới thiệu
Tài liệu
PJRT (Giao thức truyền tin thời gian thực)
Giới thiệu
Cộng đồng
Thông báo/Thảo luận
Discord
Cuộc họp
Đóng góp
Đối tác trong ngành
Alibaba
"Tại Alibaba, OpenXLA được khách hàng của Dịch vụ GPU Elastic tận dụng để đào tạo và phân phát các mô hình PyTorch lớn. Chúng tôi đã nhận thấy những cải thiện đáng kể về hiệu suất cho những khách hàng sử dụng OpenXLA, đáng chú ý là tốc độ tăng 72% đối với GPT2 và 88% đối với Swin Transformer trên GPU NVIDIA. Chúng tôi tự hào là thành viên sáng lập của Dự án OpenXLA và hợp tác với cộng đồng nguồn mở để phát triển một trình biên dịch học máy tiên tiến, mang lại hiệu suất và trải nghiệm người dùng vượt trội cho khách hàng của Alibaba Cloud." – Dương Thanh, Phó chủ tịch bộ phận Phân tích dữ liệu và trí tuệ nhân tạo (AI) của Alibaba
Dịch vụ web của Amazon
"Chúng tôi rất hân hạnh được trở thành một thành viên sáng lập của Dự án OpenXLA. Dự án này sẽ giúp mọi người dân chủ hoá quyền tiếp cận cơ sở hạ tầng AI hiệu quả, có thể mở rộng và có thể mở rộng, cũng như thúc đẩy việc cộng tác trong cộng đồng nguồn mở nhằm thúc đẩy sự đổi mới. Tại AWS, khách hàng của chúng tôi mở rộng quy mô của các ứng dụng dựa trên AI tạo sinh trên AWS Trainium và Inferentia, đồng thời SDK Neron của chúng tôi dựa vào XLA để tối ưu hoá các mô hình học máy nhằm đạt hiệu suất cao và hiệu suất cao nhất trên mỗi watt. Với hệ sinh thái OpenXLA mạnh mẽ, các nhà phát triển có thể tiếp tục cải tiến và mang lại hiệu suất vượt trội nhờ cơ sở hạ tầng học máy bền vững. Họ cũng hiểu rằng mã của họ có thể dễ dàng di chuyển để sử dụng tuỳ theo lựa chọn phần cứng.” – Nafea Bshara, Phó chủ tịch kiêm Kỹ sư xuất sắc, AWS
AMD
"Chúng tôi rất hào hứng về định hướng tương lai của OpenXLA trên nhiều dòng thiết bị AMD (CPU, GPU, AIE) và tự hào là một phần của cộng đồng này. Chúng tôi đánh giá cao các dự án có khả năng quản trị mở, khả năng ứng dụng rộng rãi và linh hoạt, các tính năng tiên tiến và hiệu suất vượt trội, đồng thời rất mong được tiếp tục cộng tác để mở rộng hệ sinh thái nguồn mở cho các nhà phát triển công nghệ học máy.” – Alan Lee, Phó chủ tịch phụ trách mảng Phát triển phần mềm, AMD
Mọi quy mô
" Anyscale phát triển các công nghệ mở và có thể mở rộng như Ray để giúp những chuyên gia AI phát triển ứng dụng nhanh hơn và đưa ứng dụng đến với nhiều người dùng hơn. Gần đây, chúng tôi đã hợp tác với dự án ALPA để sử dụng OpenXLA nhằm huấn luyện mô hình hiệu suất cao cho các mô hình Ngôn ngữ lớn trên quy mô lớn. Chúng tôi rất vui khi tham gia OpenXLA. Và chúng tôi rất vui mừng vì nỗ lực nguồn mở này đã giúp chúng tôi vận hành khối lượng công việc dựa trên AI trên nhiều nền tảng phần cứng một cách hiệu quả, từ đó giảm thiểu rào cản gia nhập, giảm chi phí và thúc đẩy lĩnh vực AI nhanh hơn." – Philipp Moritz, Giám đốc công nghệ, Anyscale
Quả táo
Apple Inc. thiết kế, sản xuất và tiếp thị điện thoại thông minh, máy tính cá nhân, máy tính bảng, thiết bị đeo và phụ kiện, đồng thời bán nhiều loại dịch vụ có liên quan.
Nhóm
"Dự án OpenXLA đánh dấu một cột mốc quan trọng trên hành trình đơn giản hoá quá trình phát triển phần mềm học máy. Chúng tôi hoàn toàn ủng hộ sứ mệnh của OpenXLA và mong muốn tận dụng sự ổn định cũng như tiêu chuẩn hoá của OpenXLA trên lộ trình phát triển phần cứng và phần mềm của Arm® NeoverseTM." – Peter Greenhalgh, Phó chủ tịch phụ trách Công nghệ và thành viên của Arm.
Ngựa lùn
"Tại Cerebras, chúng tôi xây dựng các chương trình tăng tốc AI được thiết kế để giúp việc huấn luyện ngay cả những mô hình AI lớn nhất trở nên nhanh chóng và dễ dàng. Các hệ thống và phần mềm của chúng tôi đáp ứng nhu cầu của người dùng trên mọi nền tảng, từ đó nhanh chóng phát triển, mở rộng quy mô và lặp lại quy trình bằng các khung công nghệ học máy tiêu chuẩn mà không cần thay đổi. OpenXLA giúp mở rộng phạm vi tiếp cận người dùng và đẩy nhanh thời gian tìm ra giải pháp bằng cách cung cấp cho Cerebras Wafer-Scale Engine một giao diện chung cho các khung ML (Học máy) cấp cao hơn. Chúng tôi rất vui mừng khi thấy hệ sinh thái OpenXLA hỗ trợ cộng đồng tương tác, đóng góp và sử dụng trên GitHub hơn nữa.” – Andy Hock, Phó chủ tịch kiêm Giám đốc sản phẩm, Cerebras Systems
"Phần mềm nguồn mở mang đến cho mọi người cơ hội tạo ra những bước đột phá về AI. Tại Google, chúng tôi đang hợp tác trong Dự án OpenXLA để củng cố cam kết của mình về nguồn mở và thúc đẩy việc sử dụng các công cụ AI giúp nâng cao tiêu chuẩn về hiệu suất học máy, giải quyết vấn đề không tương thích giữa khung và phần cứng, đồng thời có thể định cấu hình lại để giải quyết các trường hợp sử dụng phù hợp của nhà phát triển. Chúng tôi rất vui mừng được phát triển những công cụ này cùng cộng đồng OpenXLA để các nhà phát triển có thể thúc đẩy tiến bộ trên nhiều tầng trong bộ công cụ AI." – Jeff Dean, Nghiên cứu viên cao cấp và Phó chủ tịch cấp cao tại Google Nghiên cứu và AI
Đồ hoạ
"Quy trình biên dịch IPU của chúng tôi đã sử dụng XLA kể từ khi phiên bản này được công khai. Nhờ tính độc lập và ổn định của nền tảng XLA, sản phẩm này cung cấp một giao diện người dùng lý tưởng để đưa ra silicon mới. Tính linh hoạt của XLA cho phép chúng tôi giới thiệu các tính năng phần cứng mới của IPU và đạt được trạng thái hiệu suất nghệ thuật với nhiều khung. Hàng triệu truy vấn mỗi ngày được phân phát bởi các hệ thống chạy mã do XLA biên dịch. Chúng tôi rất hào hứng với hướng đi của OpenXLA và hy vọng có thể tiếp tục đóng góp cho dự án nguồn mở này. Chúng tôi tin rằng nền tảng này sẽ trở thành một thành phần cốt lõi trong tương lai của công nghệ trí tuệ nhân tạo (AI)/học máy (ML)." — David Norman, Giám đốc thiết kế phần mềm, Graphcore
Cho ôm cái
"Việc giúp dễ dàng vận hành hiệu quả mọi mô hình trên mọi phần cứng là một thách thức kỹ thuật sâu sắc và là mục tiêu quan trọng cho sứ mệnh của chúng tôi để dân chủ hoá công nghệ học máy hiệu quả. Tại Hugging Face, chúng tôi đã kích hoạt XLA cho các mô hình tạo văn bản TensorFlow và tăng tốc độ lên khoảng 100 lần. Hơn nữa, chúng tôi cũng cộng tác chặt chẽ với các nhóm kỹ sư tại Intel, AWS, Habana, Graphcore, AMD, quam Google và Google, xây dựng cầu nối nguồn mở giữa các khung và từng loại silicon, nhằm mang lại hiệu quả vượt trội cho người dùng cuối thông qua thư viện Optimum của chúng tôi. OpenXLA hứa hẹn về những yếu tố được chuẩn hoá để xây dựng khả năng tương tác cần thiết. Chúng tôi rất nóng lòng theo dõi và đóng góp cho công ty này!"
Intel
"Tại Intel, chúng tôi tin tưởng vào quyền tiếp cận AI một cách tự do và dân chủ. CPU Intel, GPU, máy tăng tốc Habana Gaudi và phần mềm AI dựa trên mộtAPI, bao gồm cả OpenVINO, giúp thúc đẩy tải công việc học máy ở khắp mọi nơi, từ siêu máy tính exascale đến việc triển khai đám mây lớn. Cùng với các thành viên khác của OpenXLA, chúng tôi mong muốn hỗ trợ các công cụ biên dịch học máy được thành phần, dựa trên tiêu chuẩn, thúc đẩy đổi mới trên nhiều khung và môi trường phần cứng, nhằm đẩy nhanh tiến độ khoa học và nghiên cứu mang tính thay đổi thế giới.” – Greg Lavender, Phó chủ tịch cấp cao Intel, Giám đốc kỹ thuật và Tổng giám đốc của Tập đoàn phần mềm và công nghệ tiên tiến
Meta
"Trong nghiên cứu, tại Meta AI, chúng tôi đã sử dụng XLA, một công nghệ cốt lõi của dự án OpenXLA, để kích hoạt các mô hình PyTorch cho Cloud TPU và đã có thể cải thiện đáng kể hiệu suất cho các dự án quan trọng. Chúng tôi tin rằng nguồn mở sẽ đẩy nhanh tốc độ đổi mới trên thế giới và rất vui mừng được tham gia Dự án OpenXLA." – Soumith Chintala, Giám đốc duy trì trưởng, PyTorch
NVIDIA
"Là thành viên sáng lập của Dự án OpenXLA, NVIDIA rất mong được hợp tác về những tiến bộ về trí tuệ nhân tạo/học máy với cộng đồng OpenXLA và tin rằng với sự tương tác rộng rãi hơn và áp dụng OpenXLA, các nhà phát triển học máy sẽ được trang bị cơ sở hạ tầng AI tiên tiến nhất".