Một hệ sinh thái mở gồm các thành phần cơ sở hạ tầng học máy (ML) hiệu quả, di động và có thể mở rộng giúp đơn giản hoá quá trình phát triển ML bằng cách phân mảnh công cụ giữa khung giao diện người dùng và phần phụ trợ phần cứng. Do các công ty đầu ngành xây dựng về mô hình AI, phần mềm và phần cứng.
Họp cộng đồng 17/12/2024 lúc 9 giờ sáng (theo giờ PT)
Các trang trình bày và bản ghi âm của Fall Dev Lab hiện đã có!

XLA

XLA (Tăng tốc đại số tuyến tính) là một trình biên dịch nguồn mở dành cho công nghệ học máy. Trình biên dịch XLA lấy mô hình từ các khung phổ biến như PyTorch, TensorFlow và JAX, đồng thời tối ưu hoá các mô hình đó để thực thi hiệu suất cao trên nhiều nền tảng phần cứng, bao gồm GPU, CPU và trình tăng tốc học máy.
XLA được tạo sẵn cho nhiều khung ML. Để biết thông tin về cách sử dụng XLA trong những trường hợp này, hãy xem tài liệu và từng trang khung.
Tài liệu XLA đề cập đến một số chủ đề cơ bản và nâng cao, chẳng hạn như cách tích hợp trình bổ trợ PJRT mới, triển khai phần phụ trợ XLA mới và tối ưu hoá thời gian chạy của chương trình XLA.

StableHLO

StableHLO là một bộ hoạt động dành cho các hoạt động cấp cao (HLO) trong các mô hình học máy (ML). Về cơ bản, đây là lớp khả năng di chuyển giữa các khung ML và trình biên dịch ML: các khung ML tạo ra chương trình StableHLO tương thích với các trình biên dịch ML dùng các chương trình StableHLO.
Tài liệu về StableHLO đề cập đến một số chủ đề, chẳng hạn như thông số kỹ thuật của StableHLO OpSet và cách xuất biểu đồ StableHLO từ các khung học máy phổ biến.

Shardy

Shardy là một hệ thống phân vùng tensor dựa trên MLIR cho tất cả các phương ngữ. Được xây dựng từ sự cộng tác của cả nhóm GSPMD và PartIR, công cụ này kết hợp những điểm tốt nhất của cả hai hệ thống, cũng như kinh nghiệm chung của cả nhóm và người dùng.
Tài liệu về Shardy bao gồm các khái niệm về phân đoạn, thông tin tổng quan về phương ngữ và hướng dẫn bắt đầu sử dụng Shardy từ JAX hoặc tích hợp Shardy vào quy trình MLIR tuỳ chỉnh.

PJRT (Giao thức truyền tin thời gian thực)

PJRT là một giao diện độc lập với phần cứng và khung dành cho trình biên dịch và thời gian chạy học máy. Hiện tại, tác phẩm này đi kèm với bản phân phối XLA. Hãy xem XLA GitHub và tài liệu để biết thêm thông tin về cách sử dụng và tích hợp PJRT.

Cộng đồng

Hãy tham gia openxla-thảo luận danh sách gửi thư để nhận tin tức về các bản phát hành, sự kiện và các cập nhật chính khác. Đây cũng là kênh chính của chúng tôi để thảo luận về hoạt động thiết kế và phát triển.
Tham gia OpenXLA Discord để tham gia các cuộc trò chuyện về các chủ đề của XLA và StableHLO.
Các cuộc họp được tổ chức hằng tháng qua Google Meet vào thứ Ba thứ 2 hoặc thứ 3 lúc 9 giờ sáng (theo giờ Thái Bình Dương). Vui lòng xem tài liệu cuộc họp hoặc openxla- thảo luận về ngày và chủ đề cụ thể.
Nắm bắt tất cả tin tức và thông báo mới nhất của cộng đồng OpenXLA.
Chúng tôi hoan nghênh đóng góp của cộng đồng. Vui lòng xem nguyên tắc đóng góp của chúng tôi để biết thêm thông tin.

Đối tác trong ngành

Dự án OpenXLA do các tổ chức hàng đầu về phần cứng và phần mềm học máy phát triển cùng nhau.
Biểu trưng của Alibaba

Alibaba

"Tại Alibaba, OpenXLA được khách hàng của Dịch vụ GPU Elastic tận dụng để đào tạo và phân phát các mô hình PyTorch lớn. Chúng tôi đã nhận thấy những cải thiện đáng kể về hiệu suất cho những khách hàng sử dụng OpenXLA, đáng chú ý là tốc độ tăng 72% đối với GPT2 và 88% đối với Swin Transformer trên GPU NVIDIA. Chúng tôi tự hào là thành viên sáng lập của Dự án OpenXLA và hợp tác với cộng đồng nguồn mở để phát triển một trình biên dịch học máy tiên tiến, mang lại hiệu suất và trải nghiệm người dùng vượt trội cho khách hàng của Alibaba Cloud." – Dương Thanh, Phó chủ tịch bộ phận Phân tích dữ liệu và trí tuệ nhân tạo (AI) của Alibaba

Biểu trưng Amazon Web Services

Dịch vụ web của Amazon

"Chúng tôi rất hân hạnh được trở thành một thành viên sáng lập của Dự án OpenXLA. Dự án này sẽ giúp mọi người dân chủ hoá quyền tiếp cận cơ sở hạ tầng AI hiệu quả, có thể mở rộng và có thể mở rộng, cũng như thúc đẩy việc cộng tác trong cộng đồng nguồn mở nhằm thúc đẩy sự đổi mới. Tại AWS, khách hàng của chúng tôi mở rộng quy mô của các ứng dụng dựa trên AI tạo sinh trên AWS Trainium và Inferentia, đồng thời SDK Neron của chúng tôi dựa vào XLA để tối ưu hoá các mô hình học máy nhằm đạt hiệu suất cao và hiệu suất cao nhất trên mỗi watt. Với hệ sinh thái OpenXLA mạnh mẽ, các nhà phát triển có thể tiếp tục cải tiến và mang lại hiệu suất vượt trội nhờ cơ sở hạ tầng học máy bền vững. Họ cũng hiểu rằng mã của họ có thể dễ dàng di chuyển để sử dụng tuỳ theo lựa chọn phần cứng.” – Nafea Bshara, Phó chủ tịch kiêm Kỹ sư xuất sắc, AWS

Biểu trưng AMD

AMD

"Chúng tôi rất hào hứng về định hướng tương lai của OpenXLA trên nhiều dòng thiết bị AMD (CPU, GPU, AIE) và tự hào là một phần của cộng đồng này. Chúng tôi đánh giá cao các dự án có khả năng quản trị mở, khả năng ứng dụng rộng rãi và linh hoạt, các tính năng tiên tiến và hiệu suất vượt trội, đồng thời rất mong được tiếp tục cộng tác để mở rộng hệ sinh thái nguồn mở cho các nhà phát triển công nghệ học máy.” – Alan Lee, Phó chủ tịch phụ trách mảng Phát triển phần mềm, AMD

Biểu trưng thang đo bất kỳ

Mọi quy mô

" Anyscale phát triển các công nghệ mở và có thể mở rộng như Ray để giúp những chuyên gia AI phát triển ứng dụng nhanh hơn và đưa ứng dụng đến với nhiều người dùng hơn. Gần đây, chúng tôi đã hợp tác với dự án ALPA để sử dụng OpenXLA nhằm huấn luyện mô hình hiệu suất cao cho các mô hình Ngôn ngữ lớn trên quy mô lớn. Chúng tôi rất vui khi tham gia OpenXLA. Và chúng tôi rất vui mừng vì nỗ lực nguồn mở này đã giúp chúng tôi vận hành khối lượng công việc dựa trên AI trên nhiều nền tảng phần cứng một cách hiệu quả, từ đó giảm thiểu rào cản gia nhập, giảm chi phí và thúc đẩy lĩnh vực AI nhanh hơn." – Philipp Moritz, Giám đốc công nghệ, Anyscale

Biểu trưng của Apple

Quả táo

Apple Inc. thiết kế, sản xuất và tiếp thị điện thoại thông minh, máy tính cá nhân, máy tính bảng, thiết bị đeo và phụ kiện, đồng thời bán nhiều loại dịch vụ có liên quan.

Biểu trưng Arm

Nhóm

"Dự án OpenXLA đánh dấu một cột mốc quan trọng trên hành trình đơn giản hoá quá trình phát triển phần mềm học máy. Chúng tôi hoàn toàn ủng hộ sứ mệnh của OpenXLA và mong muốn tận dụng sự ổn định cũng như tiêu chuẩn hoá của OpenXLA trên lộ trình phát triển phần cứng và phần mềm của Arm® NeoverseTM." – Peter Greenhalgh, Phó chủ tịch phụ trách Công nghệ và thành viên của Arm.

Biểu trưng của Cerebras

Ngựa lùn

"Tại Cerebras, chúng tôi xây dựng các chương trình tăng tốc AI được thiết kế để giúp việc huấn luyện ngay cả những mô hình AI lớn nhất trở nên nhanh chóng và dễ dàng. Các hệ thống và phần mềm của chúng tôi đáp ứng nhu cầu của người dùng trên mọi nền tảng, từ đó nhanh chóng phát triển, mở rộng quy mô và lặp lại quy trình bằng các khung công nghệ học máy tiêu chuẩn mà không cần thay đổi. OpenXLA giúp mở rộng phạm vi tiếp cận người dùng và đẩy nhanh thời gian tìm ra giải pháp bằng cách cung cấp cho Cerebras Wafer-Scale Engine một giao diện chung cho các khung ML (Học máy) cấp cao hơn. Chúng tôi rất vui mừng khi thấy hệ sinh thái OpenXLA hỗ trợ cộng đồng tương tác, đóng góp và sử dụng trên GitHub hơn nữa.” – Andy Hock, Phó chủ tịch kiêm Giám đốc sản phẩm, Cerebras Systems

Biểu trưng Google

Google

"Phần mềm nguồn mở mang đến cho mọi người cơ hội tạo ra những bước đột phá về AI. Tại Google, chúng tôi đang hợp tác trong Dự án OpenXLA để củng cố cam kết của mình về nguồn mở và thúc đẩy việc sử dụng các công cụ AI giúp nâng cao tiêu chuẩn về hiệu suất học máy, giải quyết vấn đề không tương thích giữa khung và phần cứng, đồng thời có thể định cấu hình lại để giải quyết các trường hợp sử dụng phù hợp của nhà phát triển. Chúng tôi rất vui mừng được phát triển những công cụ này cùng cộng đồng OpenXLA để các nhà phát triển có thể thúc đẩy tiến bộ trên nhiều tầng trong bộ công cụ AI." – Jeff Dean, Nghiên cứu viên cao cấp và Phó chủ tịch cấp cao tại Google Nghiên cứu và AI

Biểu trưng của Graphcore

Đồ hoạ

"Quy trình biên dịch IPU của chúng tôi đã sử dụng XLA kể từ khi phiên bản này được công khai. Nhờ tính độc lập và ổn định của nền tảng XLA, sản phẩm này cung cấp một giao diện người dùng lý tưởng để đưa ra silicon mới. Tính linh hoạt của XLA cho phép chúng tôi giới thiệu các tính năng phần cứng mới của IPU và đạt được trạng thái hiệu suất nghệ thuật với nhiều khung. Hàng triệu truy vấn mỗi ngày được phân phát bởi các hệ thống chạy mã do XLA biên dịch. Chúng tôi rất hào hứng với hướng đi của OpenXLA và hy vọng có thể tiếp tục đóng góp cho dự án nguồn mở này. Chúng tôi tin rằng nền tảng này sẽ trở thành một thành phần cốt lõi trong tương lai của công nghệ trí tuệ nhân tạo (AI)/học máy (ML)." — David Norman, Giám đốc thiết kế phần mềm, Graphcore

Biểu trưng của Hugging Face

Cho ôm cái

"Việc giúp dễ dàng vận hành hiệu quả mọi mô hình trên mọi phần cứng là một thách thức kỹ thuật sâu sắc và là mục tiêu quan trọng cho sứ mệnh của chúng tôi để dân chủ hoá công nghệ học máy hiệu quả. Tại Hugging Face, chúng tôi đã kích hoạt XLA cho các mô hình tạo văn bản TensorFlow và tăng tốc độ lên khoảng 100 lần. Hơn nữa, chúng tôi cũng cộng tác chặt chẽ với các nhóm kỹ sư tại Intel, AWS, Habana, Graphcore, AMD, quam Google và Google, xây dựng cầu nối nguồn mở giữa các khung và từng loại silicon, nhằm mang lại hiệu quả vượt trội cho người dùng cuối thông qua thư viện Optimum của chúng tôi. OpenXLA hứa hẹn về những yếu tố được chuẩn hoá để xây dựng khả năng tương tác cần thiết. Chúng tôi rất nóng lòng theo dõi và đóng góp cho công ty này!"

Biểu trưng Intel

Intel

"Tại Intel, chúng tôi tin tưởng vào quyền tiếp cận AI một cách tự do và dân chủ. CPU Intel, GPU, máy tăng tốc Habana Gaudi và phần mềm AI dựa trên mộtAPI, bao gồm cả OpenVINO, giúp thúc đẩy tải công việc học máy ở khắp mọi nơi, từ siêu máy tính exascale đến việc triển khai đám mây lớn. Cùng với các thành viên khác của OpenXLA, chúng tôi mong muốn hỗ trợ các công cụ biên dịch học máy được thành phần, dựa trên tiêu chuẩn, thúc đẩy đổi mới trên nhiều khung và môi trường phần cứng, nhằm đẩy nhanh tiến độ khoa học và nghiên cứu mang tính thay đổi thế giới.” – Greg Lavender, Phó chủ tịch cấp cao Intel, Giám đốc kỹ thuật và Tổng giám đốc của Tập đoàn phần mềm và công nghệ tiên tiến

Biểu trưng Meta

Meta

"Trong nghiên cứu, tại Meta AI, chúng tôi đã sử dụng XLA, một công nghệ cốt lõi của dự án OpenXLA, để kích hoạt các mô hình PyTorch cho Cloud TPU và đã có thể cải thiện đáng kể hiệu suất cho các dự án quan trọng. Chúng tôi tin rằng nguồn mở sẽ đẩy nhanh tốc độ đổi mới trên thế giới và rất vui mừng được tham gia Dự án OpenXLA." – Soumith Chintala, Giám đốc duy trì trưởng, PyTorch

Biểu trưng NVIDIA

NVIDIA

"Là thành viên sáng lập của Dự án OpenXLA, NVIDIA rất mong được hợp tác về những tiến bộ về trí tuệ nhân tạo/học máy với cộng đồng OpenXLA và tin rằng với sự tương tác rộng rãi hơn và áp dụng OpenXLA, các nhà phát triển học máy sẽ được trang bị cơ sở hạ tầng AI tiên tiến nhất".

Thông tin liên hệ

Nếu bạn có câu hỏi trực tiếp, hãy liên hệ với bên bảo trì – bên bảo trì tại openxla.org