-sdy-close-shardings
Đóng các phân vùng tensor và loại bỏ các trục được sao chép.
-sdy-constant-or-scalar-merger
Hợp nhất các hằng số giống hệt nhau và các phần mở rộng vô hướng với các phân vùng phù hợp.
Thực hiện CSE đơn giản trên các hằng số có phân vùng giống hệt nhau.
Quy trình nhập chia tách và sao chép các hằng số và phần mở rộng vô hướng sao cho phân đoạn không được truyền giữa các lần sử dụng khác nhau của một tính toán phụ hằng số. Nếu các hằng số có cùng phân vùng sau khi truyền, thì lượt truyền này sẽ hợp nhất chúng để tiết kiệm thời gian biên dịch. Hãy xem -sdy-constant-or-scalar-splitter để biết thêm thông tin.
-sdy-convert-global-to-local
Chuyển đổi chương trình SDY từ các hình dạng toàn cục sang các hình dạng cục bộ.
Chuyển đổi chương trình SDY từ các hình dạng toàn cục sang các hình dạng cục bộ bằng cách phân vùng các phương diện logic dựa trên các thuộc tính phân vùng.
Lượt truyền này tận dụng một trình chuyển đổi loại để ánh xạ RankedTensorType từ các hình dạng logic toàn cục sang các hình dạng vật lý cục bộ của thiết bị.
Tùy chọn
-per-dim-all-gather : Keep per-dimension all-gather without combining them into a single all-gather.
-combine-multi-dimension-reduce-scatter : Combine multi-dimension reduce-scatter into a single reduce-scatter.
-enable-rgv3 : Use StableHLO ReplicaGroupV3 (mesh-axes based) for collectives.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-sdy-drop-sharding-and-mesh
Xoá toán tử lưới và ký hiệu phân vùng khỏi chương trình.
Tùy chọn
-keep-module-sharding-metadata : Whether to keep module-level sharding metadata (sdy.parameters_shardings and sdy.output_shardings).
-sdy-drop-sharding-rules
Loại bỏ OpShardingRuleAttr khỏi tất cả các toán tử đã đăng ký.
-sdy-export-named-computations
Phác thảo các lệnh gọi từ NamedComputationOp.
Tạo một lượt truyền chuyển đổi NamedComputationOp thành CallOp bằng một hàm riêng tư mới có tên là name của NamedComputationOp. FuncOp và CallOp mới có cùng phân vùng với các toán hạng/kết quả NamedComputationOp ban đầu.
Nếu có một hàm có cùng tên với NamedComputationOp trong mô-đun, thì bảng ký hiệu MLIR sẽ thay đổi thành {name}_#.
-sdy-insert-explicit-reshards
Chèn các phân vùng lại rõ ràng để tất cả các thao tác đều có phân vùng tương thích.
Về cơ bản, phân đoạn tương thích có nghĩa là thao tác có thể chấp nhận các toán hạng được phân đoạn và tạo ra kết quả được phân đoạn mà không cần bất kỳ giao tiếp phân đoạn lại nào (lưu ý rằng thao tác vẫn có thể yêu cầu giao tiếp như tất cả giảm hoặc trao đổi hào quang).
Sau khi truyền, một số thao tác vẫn có thể có phân vùng không tương thích.
Lưu ý rằng khi một trục (hoặc trục phụ) được dùng để phân đoạn các phương diện không tương ứng (ví dụ: các phương diện không co lại trong matmul) trên nhiều tensor hoặc khi một trục phân đoạn một phương diện trong một tensor nhưng không phân đoạn phương diện tương ứng trong tensor khác, thì thao tác được cho là có xung đột phân đoạn. Do đó, sau lượt truyền này, các thao tác sẽ không còn xung đột.
Lượt truyền này chèn các thao tác phân vùng lại một cách rõ ràng để đối với mỗi thao tác, các phương diện tương ứng sẽ được phân vùng theo cùng một cách trên tất cả các toán hạng và kết quả, đồng thời mỗi trục (hoặc trục phụ) chỉ có thể được dùng để phân vùng một loại phương diện.
Ví dụ:
Thiết bị vào:
mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
stablehlo.dot %lhs, %rhs {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
: (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>
Kết quả:
sdy.mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
%0 = sdy.reshard %rhs <@mesh, \[{"y"}, {}\]> : tensor<32x16xf32>
stablehlo.dot %lhs, %0 {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
: (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>
Trong ví dụ trên, lhs và rhs đều được phân vùng trên trục "x" trên các phương diện không co lại, không tương thích. Lượt truyền chèn một phân vùng lại rõ ràng trên rhs trước thao tác dấu chấm, để thao tác dấu chấm có các phân vùng tương thích.
Tùy chọn
-enable-full-version : Enable full version.
-mark-partial-result-with-unreduced-axes : Whether to mark partial reduction results with unreduced axes.
-sdy-insert-func-call-reshards
Chèn các phân đoạn lại cho các xung đột phân đoạn hàm và lệnh gọi.
Chèn các phân vùng lại cho các xung đột phân vùng hàm và lệnh gọi trên kết quả.
-sdy-optimize-collectives
Tối ưu hoá các thao tác giao tiếp tập thể.
Loại bỏ các thao tác hoán vị tập thể dư thừa trước tất cả các chuỗi tất cả-đến-tất cả bằng cách phân tách các phương diện phân tách và hợp nhất thành một tất cả-đến-tất cả kết hợp.
-sdy-pad-for-divisibility
Đệm các tensor có phân vùng không chia hết thành các hình dạng chia hết.
-sdy-per-instruction-partitioning
_Chọn lọc các hướng dẫn mục tiêu, chạy quy trình phân vùng trên chúng để tạo mã cục bộ của thiết bị và gói chúng trong sdy.manualcomputation.
Để gỡ lỗi và phân đôi, hãy phân vùng có chọn lọc các hướng dẫn riêng lẻ bằng quy trình phân vùng Shardy độc lập (resolve-permutation-factors, reshard-to-collectives, pad-for-divisibility, convert-global-to-local) và gói mã cục bộ của thiết bị kết quả bên trong sdy.manual_computation. Điều này giúp phần còn lại của chương trình toàn cục không bị ảnh hưởng để XLA SPMD chỉ phân vùng các hướng dẫn toàn cục không được gói.
Tùy chọn
-filter : Filter string for selective partitioning. Can be empty (all sharded ops), comma-separated op name substrings (e.g. 'dot, pad'), or key-values like 'selectLow=0, selectHigh=10, func=subroutine'.
-enable-halo-exchange : Implement halo exchange logic for windowed operations inside the sub-pipeline.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.
-sdy-propagate-to-func-results
Truyền các phân vùng từ bộ kết thúc hàm đến kết quả hàm.
Sao chép các phân vùng của các giá trị bộ kết thúc hàm vào các kết quả func.func tương ứng, giữ nguyên các phân vùng hiện có trên hàm chính.
-sdy-remove-all-gather-reduce-scatter-for-cmv1
_Xoá sdy.all_gather và sdy.reducescatter cho CMV1.
Xoá tất cả-thu thập trong mẫu tất cả-thu thập + dấu chấm. Xoá giảm-phân tán trong mẫu dấu chấm + giảm-phân tán. Lượt truyền này là để tương thích với matmul tập thể V1 (CMV1). Đây là giải pháp tạm thời cho b/432019089.
-sdy-remove-propagation-debug-info
Xoá thông tin gỡ lỗi truyền (các cạnh truyền và phân vùng nguồn gốc) trong quá trình xuất.
-sdy-remove-sharding-groups
Xoá ShardingGroupOps sau khi truyền.
-sdy-remove-sub-axes-in-input-output-shardings
Xoá các trục phụ trong các phân vùng đầu vào/đầu ra.
Một số người dùng Shardy mong muốn các đầu vào/đầu ra của hàm có các phân vùng không có trục phụ. Lượt truyền này xoá các trục phụ và các trục theo sau khỏi các phân vùng phương diện mở đầu vào/đầu ra. Lượt truyền này thường diễn ra sau sdy-update-non-divisible-input-output-shardings để đảm bảo rằng việc xoá các trục phụ không tạo ra bất kỳ phân vùng không chia hết nào.
-sdy-reshard-to-collectives
Chuyển đổi ReshardOp thành nhiều toán tử tập thể Shardy.
Khớp các toán tử phân vùng lại và viết lại chúng thành nhiều toán tử tập thể Shardy. Sau lượt truyền này, không còn toán tử phân vùng lại nào trong mô-đun.
Nếu keepRedundantReshards là đúng, thì các toán tử phân vùng lại duy nhất còn lại là các toán tử dư thừa. Theo mặc định, nó giả định rằng các phân vùng lại rõ ràng đã được chèn (sdy-insert-explicit-reshards) và không giữ lại các phân vùng lại dư thừa. Nó sẽ giữ lại các phân vùng lại dư thừa nếu các phân vùng lại rõ ràng có thể chưa được chèn.
Ví dụ:
Thiết bị vào:
mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.reshard %arg0 <@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>
Kết quả:
mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.all_gather \[{"y", "z"}, {}\] %arg0 out_sharding=<@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>
Trong ví dụ trên, tensor %0 : tensor<16x2xf32> được phân vùng là
\[{"x", "y", "z"}, {}\]. Sau đó, có một reshard toán tử phân vùng lại nó là
\[{"x"}, {}\]. Trên các trục đầu tiên, vì hậu tố {"y", "z"} bị xoá
sau khi phân vùng lại, nên chúng tôi suy ra rằng chúng tôi đã thu thập tất cả {"y", "z"}. Phương diện thứ hai không thay đổi.
Tùy chọn
-keep-redundant-reshards : Whether it keeps redundant reshards or removes.
-sdy-resolve-permutation-factors
Giải quyết phân đoạn trên các phương diện được ánh xạ tới các hệ số kPermutation.
Phân đoạn các phương diện có hệ số kPermutation có thể yêu cầu giao tiếp giữa các thiết bị (ví dụ: trao đổi hào quang cho các cửa sổ hoặc hoán vị tập thể cho các đảo ngược).
Nếu enableHaloExchange là đúng, thì lượt truyền sẽ sử dụng một logic giao tiếp được tối ưu hoá có sẵn để giải quyết các hệ số hoán vị. Nếu không, lượt truyền sẽ chỉ chèn các toán tử sdy.reshard để sao chép các phương diện đó. Giá trị mặc định của enableHaloExchange là đúng.
Tùy chọn
-enable-halo-exchange : Implement halo exchange logic for windowed operations.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.
-sdy-resolve-single-device-sharding
Giảm các thao tác trên một thiết bị thành stablehlo.if được bảo vệ bằng mã thiết bị mục tiêu.
Tùy chọn
-replica-count : Number of replicas per partition.
-partition-count : Number of partitions per replica.
-sdy-sharding-constraint-to-reshard
Chuyển đổi ShardingConstraintOp thành ReshardOp.
-sdy-sink-data-flow-edges
Chìm tất cả DataFlowEdgeOp vào đầu vào của chúng.
Di chuyển phân vùng của mỗi DataFlowEdgeOp đến đầu vào của nó (mục tiêu gốc của cạnh) và thay thế toán tử bằng đầu vào của nó.
Tùy chọn
-sink-debug-sharding-origins : Whether to sink the debug sharding origins info. See `debug-sharding-origins` option in propagation for more info.
-sink-debug-propagation-edge-sharding : Whether to sink the debug propagation edge sharding info. See `debug-propagation-edge-sharding` option in propagation for more info.
-sdy-sink-func-data-flow-edges
Chìm tất cả FuncDataFlowEdgeOp vào đầu vào của chúng.
Di chuyển phân vùng của mỗi FuncDataFlowEdgeOp đến đầu vào của nó và thay thế toán tử bằng đầu vào của nó.
-sdy-unflatten-call-graph
Bỏ làm phẳng biểu đồ lệnh gọi.
Bỏ làm phẳng biểu đồ. Nó loại bỏ các hàm trùng lặp có cùng phân vùng đầu vào/đầu ra và cùng nguồn gốc như được mô tả bởi thuộc tính 'original_func_name' được đính kèm vào các hàm.
Tùy chọn
-dedup-functions-fully : If true, regardless of the input and output shardings of functions, it keeps one callee function for each caller function. The default is false, meaning it will deduplicate only if the input and output shardings are the same.
-sdy-update-non-divisible-input-output-shardings
Phân vùng đều các đầu vào/đầu ra của FuncOp, loại bỏ mọi nhu cầu đệm do các phân vùng không chia hết.
Người dùng Shardy mong muốn các đầu vào/đầu ra của hàm có thể chia hết/phân vùng đều để tránh yêu cầu đệm các tensor của họ. Việc truyền có thể khiến các đầu vào/đầu ra có các phân đoạn không chia hết, vì vậy, lượt truyền này sẽ cập nhật chúng thành tiền tố phân đoạn phương diện lớn nhất của phân đoạn ban đầu được phân đoạn đều.
-sdy-verify-unreduced-axes
Xác minh tính nhất quán của việc sử dụng trục không giảm.
Xác minh rằng đối với mọi thao tác, nếu các toán hạng của nó có các trục không giảm, thì thao tác sẽ giảm chúng một cách rõ ràng (ví dụ: thông qua sdy.reshard) hoặc truyền chúng qua kết quả của nó (hoặc là một thao tác giới hạn như func.call).