Thiết kế thư viện
Tokamax được thiết kế để chuẩn hoá và đơn giản hoá hành trình thông thường của nhà phát triển về việc tạo, tối ưu hoá, bảo trì và sử dụng hạt nhân trong môi trường thực tế. Thư viện này thực hiện việc này thông qua các lớp nền tảng và cơ sở hạ tầng dùng chung mà tất cả toán tử trong thư viện đều kế thừa và triển khai trong một khung có cấu trúc tốt.
Lớp toán tử
Lớp cơ sở Tokamax
tokamax.Op là lớp nền tảng của Tokamax, đóng vai trò là cơ sở cho mọi toán tử trong thư viện. Khi bất kỳ toán tử phái sinh nào được gọi, lớp này sẽ tự động xử lý chức năng sau:
- Liên kết đối số: Trước khi chạy bất kỳ phép tính nào, lớp cơ sở sẽ chuẩn hoá và xác thực các đối số của phương thức gọi thành một bản trình bày chuẩn duy nhất để việc lưu vào bộ nhớ đệm, phương pháp phỏng đoán và thực thi hạt nhân đều có thể suy luận về khối lượng công việc một cách đồng nhất (thông qua đối tượng
BoundArguments), bất kể cách truyền dữ liệu đầu vào (xemop.bind()). - Xác thực thiết bị: Để sớm phát hiện tình trạng không khớp phần cứng, toán tử sẽ xác minh khả năng hỗ trợ thiết bị đối với trình tăng tốc mục tiêu trước khi chạy, đồng thời vẫn cho phép bỏ qua bước kiểm tra này khi biên dịch chéo từ máy chủ CPU (xem
op.supported_on(),bypass_device_check=Truevàconfig.cross_compile(True)). - Ghi lại theo lô: Vì cấu hình hạt nhân tốt nhất (
Config) thường phụ thuộc vào kích thước vấn đề theo lô đầy đủ thay vì một lát cắt, nên lớp cơ sở sẽ ghi lại các kích thước lô xung quanh khi một toán tử được vectơ hoá (jax.vmap) để các phương pháp phỏng đoán và bộ nhớ đệm tự động điều chỉnh có thể tối ưu hoá cho hình dạng khối lượng công việc thực (xemop._capture_batched_args()). - Độ phân giải cấu hình: Để mang lại hiệu suất mạnh mẽ ngay từ đầu mà không cần điều chỉnh thủ công, lớp cơ sở sẽ tự động phân giải các siêu tham số hạt nhân bất cứ khi nào phương thức gọi không cung cấp các siêu tham số đó – sử dụng lại các chế độ cài đặt đã được tự động điều chỉnh trước đó trong bộ nhớ đệm tự động điều chỉnh dựa trên ổ đĩa (nếu có) hoặc quay lại phương pháp phỏng đoán tích hợp sẵn (xem
BoundArguments.default_config). - Tuần tự hoá siêu dữ liệu StableHLO: Để giúp các chương trình đã biên dịch có thể tự kiểm tra nhằm lập hồ sơ ngoại tuyến và điều chỉnh tự động, lớp cơ sở sẽ nhúng siêu dữ liệu của toán tử vào biểu đồ đã hạ cấp để các công cụ hạ nguồn có thể tái cấu trúc những toán tử đã chạy và với dữ liệu đầu vào nào (hình dạng, loại, v.v.) ngay từ một mô-đun đã biên dịch hoặc hồ sơ hiệu suất (xem
_tokamax_metadata()). - Thực thi chuyển tiếp và VJP tuỳ chỉnh: Vì các hạt nhân phần cứng chuyên biệt thường không thể phân biệt một cách hiệu quả bằng tính năng tự động phân biệt tiêu chuẩn, nên lớp cơ sở sẽ điều phối việc thực thi chuyển tiếp và lùi dưới dạng một cặp, cho phép truyền chuyển tiếp truyền trực tiếp các giá trị trung gian đến một hạt nhân lùi tuỳ chỉnh trong quá trình tính toán độ dốc (xem
op._fwd()) và các lệnh gọi đếnjax.custom_vjp.
Lớp cơ sở dành riêng cho hoạt động
Mỗi nhóm toán tử xác định lớp cơ sở riêng kế thừa từ lớp toán tử cơ bản và thiết lập hợp đồng được chia sẻ trên tất cả phần phụ trợ (ví dụ: xem RaggedDot):
- Triển khai tham chiếu: Mỗi lớp cơ sở của toán tử cung cấp một phương thức triển khai tham chiếu JAX thuần tuý, có thể di chuyển của thông số kỹ thuật toán học đầy đủ, bao gồm cả độ dốc khi áp dụng. Điều này đóng vai trò là thông tin thực tế cho các bài kiểm thử độ chính xác về số và đảm bảo phương án dự phòng hoạt động trên mọi phần cứng (xem
RaggedDot._fwd()). - Liên kết chuẩn hoá: Vì người dùng có thể biểu thị cùng một phép toán theo nhiều cách (chẳng hạn như truyền các dạng mặt nạ, chế độ cài đặt độ chính xác hoặc thông số kỹ thuật về kích thước khác nhau), nên lớp cơ sở của toán tử sẽ chuẩn hoá dữ liệu đầu vào và kiểm tra khả năng tương thích về hình dạng và loại ngay từ đầu để các phần phụ trợ phần cứng riêng lẻ chỉ phải xử lý một định dạng đầu vào duy nhất, có thể dự đoán được (xem
RaggedDot.bind()).
Lớp triển khai hoạt động
Các lớp này cung cấp các phương thức triển khai hạt nhân dành riêng cho phần cứng và có thể được người dùng tạo thực thể và gọi trực tiếp. Mỗi phương thức triển khai kế thừa từ lớp cơ sở dành riêng cho toán tử và cung cấp hành vi dành riêng cho phần phụ trợ (ví dụ: xem PallasMosaicTpuRaggedDot):
- Chức năng cốt lõi: Đây là nơi xác định quá trình thực thi nhân phần cứng thực tế, thường sử dụng ngôn ngữ nhân như Pallas. Khi một thao tác yêu cầu một lượt truyền ngược chuyên biệt, hạt nhân độ dốc thường được mô hình hoá dưới dạng triển khai toán tử hạng nhất riêng để có thể được định cấu hình, điều chỉnh và kiểm thử một cách độc lập. Mặc dù mã hạt nhân cấp thấp nhất thường được đưa vào một tệp trợ giúp riêng biệt để đảm bảo tính mô-đun, nhưng lớp này đóng vai trò là giao diện chính để gọi hạt nhân đó (xem
PallasMosaicTpuRaggedDot._fwd()). - Cấu hình: Vì hạt nhân phần cứng thường hiển thị các nút hiệu suất (chẳng hạn như kích thước ô, giai đoạn quy trình hoặc chiến lược lưu vào vùng đệm bộ nhớ), nên mỗi phần phụ trợ sẽ xác định một cấu trúc cấu hình chuyên dụng cho phép người dùng hoặc công cụ tự động kiểm soát cách phân vùng, biên dịch và thực thi hạt nhân (xem
Config). - Heuristics: Không phải khối lượng công việc nào cũng được tự động điều chỉnh trước, vì vậy, mỗi phần phụ trợ đều cung cấp các phương pháp phỏng đoán tích hợp sẵn để chọn các tham số điều chỉnh mặc định hợp lý dựa trên kích thước vấn đề, loại dữ liệu và thông số kỹ thuật của trình tăng tốc (xem
_get_heuristics_config()). - Không gian tìm kiếm tự động điều chỉnh: Đối với những khối lượng công việc mà hiệu suất cao nhất là yếu tố quan trọng, mỗi phần phụ trợ sẽ xác định một không gian tìm kiếm tự động điều chỉnh gồm các tổ hợp tham số hợp lệ cho một hình dạng vấn đề nhất định, cho phép trình tự động điều chỉnh đo điểm chuẩn cho các đề xuất và khám phá cấu hình nhanh nhất (xem
_get_autotuning_configs()). - Xác thực theo cách triển khai cụ thể: Nhân phần cứng thường có các yêu cầu nghiêm ngặt hơn so với phép toán chung, chẳng hạn như quy tắc căn chỉnh kích thước hoặc hỗ trợ kiểu dữ liệu hạn chế. Mỗi phương thức triển khai đều xác thực các quy tắc ràng buộc và tín hiệu này khi không thể xử lý khối lượng công việc, cho phép trình điều phối cấp cao hơn quay lại một phần phụ trợ khác (xem
PallasMosaicTpuRaggedDot._fwd()).
API cấp cao
Hầu hết các toán tử đều có nhiều phần phụ trợ, chẳng hạn như một phương thức triển khai tham chiếu di động cùng với một hoặc nhiều hạt nhân dành riêng cho phần cứng, đồng thời hiển thị một điểm truy cập cấp cao quen thuộc (ví dụ: hàm jax.lax tiêu chuẩn). Lớp này được thiết kế để cung cấp cho người dùng một giao diện đơn giản, dễ sử dụng, tự động chọn phần phụ trợ được hỗ trợ tốt nhất cho phần cứng và hình dạng đầu vào của họ, đồng thời vẫn cho phép họ yêu cầu một phương thức triển khai cụ thể khi muốn (xem tokamax.ragged_dot()).
ArgSpecs
Việc duy trì một danh mục chung gồm các hình dạng khối lượng công việc quan trọng là điều cần thiết để
thử nghiệm và tối ưu hoá hạt nhân một cách nhất quán trên các phần phụ trợ. Tokamax ghi lại
các hình dạng điểm chuẩn và hình dạng sản xuất đại diện này dưới dạng thông số kỹ thuật về khối lượng công việc
được chia sẻ trên tất cả các cách triển khai của một toán tử. Điều này cung cấp cho các bài kiểm thử tích hợp liên tục, điểm chuẩn hồi quy và quy trình tự động điều chỉnh một nguồn đáng tin cậy duy nhất có thể được lọc theo thẻ cho các quy trình công việc khác nhau (xem ArgSpecs cho ragged_dot).
Cấu trúc kho lưu trữ
Mã triển khai nội bộ nằm trong cây nguồn riêng tư (xem tokamax/_src), trong khi các ký hiệu công khai cho toán tử, tự động điều chỉnh, đo điểm chuẩn và cấu hình được xuất lại thông qua các mô-đun cấp cao nhất (xem tokamax/__init__.py).
Trong mỗi thư mục nhà mạng (xem tokamax/_src/ops), các tệp tuân theo quy ước đặt tên nhất quán, được minh hoạ tại đây bằng cách sử dụng dấu chấm lởm chởm:
- API cấp cao: Xác định điểm truy cập chức năng công khai và logic điều phối phần phụ trợ (xem
api.py). - Lớp cơ sở theo hoạt động cụ thể: Xác định cách triển khai tham chiếu di động (xem
base.py). - Triển khai phần phụ trợ: Xác định các lớp toán tử, cấu hình, phương pháp phỏng đoán và không gian tự động điều chỉnh dành riêng cho phần cứng (xem
pallas_mosaic_tpu.py). - Nhân cấp thấp: Tách các hoạt động triển khai nhân độc lập và trình trợ giúp cấp thấp dùng chung thành các mô-đun đồng hành (xem
pallas_mosaic_tpu_kernel.py). - Thông số kỹ thuật về khối lượng công việc: Liệt kê các hình dạng đầu vào chuẩn để kiểm thử, đo điểm chuẩn và tự động điều chỉnh (xem
arg_specs.py). - Bộ kiểm thử: Xác định các quy trình kiểm tra tính chính xác được tham số hoá dùng chung cùng với các bộ kiểm thử cho mỗi phần phụ trợ (xem
test_base.py).
Các hoạt động trong thư mục experimental có cấu trúc tương tự, nhưng có thể không được hiển thị trong API công khai. Các hoạt động này nhằm mục đích lặp lại và khám phá nhanh chóng, đồng thời có thể thay đổi thường xuyên và đáng kể, thường có kỳ vọng thấp hơn về việc bảo trì và hỗ trợ liên tục.
Người dùng nên gọi lớp nào
Việc chọn điểm truy cập về cơ bản là sự đánh đổi giữa tính tiện lợi và khả năng kiểm soát. Hầu hết người dùng nên bắt đầu bằng cách gọi toán tử thông qua API chức năng cấp cao. API này cung cấp giao diện kiểu quen thuộc và tự động chọn cách triển khai phần phụ trợ phù hợp. Khi cần lựa chọn phần phụ trợ tất định, người dùng có thể truyền một lựa chọn triển khai rõ ràng đến hàm cấp cao trong khi vẫn giữ nguyên chữ ký lệnh gọi. Để có quyền kiểm soát tối đa, người dùng có thể tạo thực thể trực tiếp cho một lớp triển khai toán tử cụ thể để tuỳ chỉnh siêu tham số hạt nhân (chẳng hạn như kích thước ô) và truyền các đối số dành riêng cho phần phụ trợ.
Bạn không nên gọi trực tiếp các hàm nhân cấp thấp mà không thông qua lớp triển khai toán tử. Việc này sẽ bỏ qua cơ sở hạ tầng thiết yếu (bao gồm cả tính năng tự động điều chỉnh, xác thực và chuẩn hoá dữ liệu đầu vào, cũng như chuyển đổi tuần tự siêu dữ liệu) mà không giúp tiết kiệm đáng kể tài nguyên, vì các trình bao bọc toán tử được thiết kế để hoạt động nhẹ nhàng. Ví dụ: nếu không có các siêu tham số được điều chỉnh tự động phù hợp, người dùng có thể sẽ thấy hiệu suất thấp hơn đáng kể.
Chủ đề nâng cao
Hợp nhất toán tử
Các toán tử Pallas TPU có thể kết hợp hỗ trợ việc kết hợp trực tiếp phần mở đầu và phần kết thúc JAX xung quanh vào nhân thông qua @tokamax.ops.op_fusion.fuse. Xem hướng dẫn về Hợp nhất toán tử để biết các ví dụ về cách sử dụng và hướng dẫn về cách tạo hạt nhân và lớp con Op tương thích với hợp nhất.
Chuyển đổi tuần tự
Hạt nhân có thể được chuyển đổi tuần tự thành StableHLO. Lệnh gọi hạt nhân là lệnh gọi tuỳ chỉnh JAX, theo mặc định bị cấm trong jax.export, yêu cầu sử dụng tokamax.DISABLE_JAX_EXPORT_CHECKS để cho phép xuất tất cả hạt nhân Tokamax:
from jax import export
f_grad_exported = export.export(f_grad, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
jax.ShapeDtypeStruct(scale.shape, scale.dtype),
)
Xin lưu ý rằng các hàm được chuyển đổi tuần tự bằng hạt nhân Tokamax sẽ mất tính độc lập với thiết bị của StableHLO tiêu chuẩn. Tokamax đưa ra hai cam kết về việc chuyển đổi tuần tự:
- Hàm đã giải tuần tự được tuần tự hoá trên một thiết bị cụ thể sẽ được đảm bảo chạy trên chính thiết bị mà hàm đó được tuần tự hoá.
- Tokamax cung cấp khả năng tương thích tương tự như JAX: khả năng tương thích ngược trong 6 tháng.
Biên dịch chéo và xuất CPU
Bạn có thể xuất hoặc biên dịch chéo hạt nhân Tokamax trên máy chủ CPU:
- Việc chọn cách triển khai rõ ràng (ví dụ:
implementation="mosaic_tpu_v2") sẽ tự động bỏ qua quy trình xác thực thiết bị lưu trữ. - Ngoài ra, hãy bật tính năng biên dịch chéo trên toàn hệ thống bằng cách sử dụng
tokamax.config.cross_compile(True):
with tokamax.config.cross_compile(True):
f_exported = export.export(
f, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS
)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
...,
)