-sdy-close-shardings

تکه‌تکه کردن تانسور را می‌بندد و محورهای تکراری را حذف می‌کند.

-sdy-constant-or-scalar-merger

ادغام کردن ثابت‌های یکسان و گسترش‌های نرده‌ای با تکه‌تکه‌سازی‌های منطبق.

CSE سبکی را روی ثابت‌هایی با قطعه‌بندی‌های یکسان اجرا می‌کند.

خط لوله وارد کردن ثابت‌ها و گسترش‌های اسکالر را تقسیم و تکرار می‌کند به‌طوری‌که تکه‌تکه کردن بین استفاده‌های مختلف از محاسبات فرعی ثابت منتشر نمی‌شود. اگر ثابت‌ها پس‌از انتشار، بخش‌بندی‌های یکسانی داشته باشند، این گذر آن‌ها را ادغام می‌کند تا زمان ترجمه را کاهش دهد. برای اطلاعات بیشتر، -sdy-constant-or-scalar-splitter را ببینید.

-sdy-convert-global-to-local

برنامه SDY را از شکل‌های سراسری به شکل‌های محلی تبدیل می‌کند.

برنامه SDY را با تقسیم ابعاد منطقی براساس ویژگی‌های قطعه‌بندی از شکل‌های سراسری به شکل‌های محلی تبدیل می‌کند.

این گذر از یک تبدیل‌کننده نوع برای نگاشت RankedTensorType از شکل‌های منطقی سراسری به شکل‌های فیزیکی محلی دستگاه استفاده می‌کند.

گزینه‌ها

-per-dim-all-gather                     : Keep per-dimension all-gather without combining them into a single all-gather.
-combine-multi-dimension-reduce-scatter : Combine multi-dimension reduce-scatter into a single reduce-scatter.
-enable-rgv3                            : Use StableHLO ReplicaGroupV3 (mesh-axes based) for collectives.
-replica-count                          : Number of replicas (data parallelism).
-partition-count                        : Number of partitions (model parallelism).

-sdy-drop-sharding-and-mesh

عملیات مش و نماد قطعه‌بندی را از برنامه برمی‌دارد.

گزینه‌ها

-keep-module-sharding-metadata : Whether to keep module-level sharding metadata (sdy.parameters_shardings and sdy.output_shardings).

-sdy-drop-sharding-rules

نومحصول‌ها OpShardingRuleAttr از همه فعالیت‌های عملیاتی ثبت‌شده.

-sdy-export-named-computations

تماس‌های Outline از NamedComputationOp.

مجوزی ایجاد می‌کند که NamedComputationOp را با تابع خصوصی جدیدی به نام name مربوط به NamedComputationOp به CallOp تبدیل می‌کند. FuncOp و CallOp جدید همان قطعه‌بندی‌های عملوندها/نتایج NamedComputationOp اصلی را دارند.

اگر تابعی با همان نام NamedComputationOp در مدول وجود داشته باشد، جدول نماد MLIR آن را به {name}_# تغییر خواهد داد.

-sdy-insert-explicit-reshards

تکه‌های صریح را درج می‌کند تا همه عملیات‌ها تکه‌بندی‌های سازگار داشته باشند.

تکه‌بندی سازگار اساساً به این معنی است که عملیات می‌تواند عملوندهای تکه‌بندی‌شده را بپذیرد و نتیجه تکه‌بندی‌شده را بدون نیاز به هیچ‌گونه ارتباط بازتکه‌بندی تولید کند (توجه داشته باشید که عملیات ممکن است همچنان به ارتباطاتی مانند کاهش همه‌جانبه یا تبادل هاله نیاز داشته باشد).

پس‌از انتشار، ممکن است برخی‌از عملیات‌ها همچنان دارای بخش‌بندی‌های ناسازگار باشند.

توجه داشته باشید که وقتی از یک محور (یا زیرمحور) برای قطعه‌بندی ابعاد غیرمنطبق (مثلاً ابعاد غیرانقباضی در matmul) در چندین تانسور استفاده می‌شود، یا وقتی یک محور یک بعد را در یک تانسور قطعه‌بندی می‌کند اما بعد منطبق را در تانسور دیگر قطعه‌بندی نمی‌کند، گفته می‌شود که عملیات دارای تداخل قطعه‌بندی است. بنابراین، پس‌از این گذر، عملیات‌ها بدون تداخل می‌شوند.

این گذر عملیات‌های بازتکه‌بندی را به‌طور صریح تزریق می‌کند تا برای هر عملیات، ابعاد مربوطه به همان روش در همه عملوندها و نتایج تکه‌بندی شوند، و هر محور (یا زیرمحور) فقط بتواند برای تکه‌بندی یک نوع بعد واحد استفاده شود.

مثال:

ورودی:

mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
stablehlo.dot %lhs, %rhs {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
  : (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>

خروجی:

sdy.mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
%0 = sdy.reshard %rhs <@mesh, \[{"y"}, {}\]> : tensor<32x16xf32>
stablehlo.dot %lhs, %0 {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
  : (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>

در مثال بالا، lhs و rhs هر دو در محور «x» در ابعاد غیرانقباضی خود قطعه‌بندی شده‌اند که ناسازگار است. این گذر یک بازتقسیم صریح را در rhs قبل‌از عملیات نقطه‌ای درج می‌کند تا عملیات نقطه‌ای تقسیم‌های سازگار داشته باشد.

گزینه‌ها

-enable-full-version                     : Enable full version.
-mark-partial-result-with-unreduced-axes : Whether to mark partial reduction results with unreduced axes.

-sdy-insert-func-call-reshards

برای تعارضات تقسیم‌بندی تابع و تماس، دوباره‌هم‌رسانی‌ها را درج می‌کند.

برای تعارضات تقسیم‌بندی تابع و تماس در نتایج، بازهم‌رسانی‌ها را درج می‌کند.

-sdy-optimize-collectives

عملکرد ارتباط جمعی را بهینه می‌کند.

با تجزیه ابعاد تقسیم و ترکیب آن‌ها در یک all-to-all ترکیبی، عملیات‌های جمعی-جایگشتی اضافی را که قبل‌از زنجیره‌های all-to-all قرار دارند حذف می‌کند.

-sdy-pad-for-divisibility

تانسورها را با قطعه‌بندی‌های غیرقابل‌تقسیم به شکل‌های قابل‌تقسیم لایی‌گذاری می‌کند.

-sdy-per-instruction-partitioning

_دستورالعمل‌های هدف را به‌صورت انتخابی استخراج می‌کند، خط لوله تقسیم‌کننده را روی آن‌ها اجرا می‌کند تا کد محلی دستگاه تولید کند، و آن‌ها را در sdy.manualcomputation می‌پیچد.

For debugging and bisection purposes, selectively partitions individual instructions using the standalone Shardy partitioner pipeline (resolve-permutation-factors, reshard-to-collectives, pad-for-divisibility, convert-global-to-local), and wraps the resulting device-local code inside sdy.manual_computation. این کار باعث می‌شود بقیه برنامه جهانی دست‌نخورده باقی بماند، بنابراین XLA SPMD فقط دستورالعمل‌های جهانی بازنشده را تقسیم می‌کند.

گزینه‌ها

-filter                   : Filter string for selective partitioning. Can be empty (all sharded ops), comma-separated op name substrings (e.g. 'dot, pad'), or key-values like 'selectLow=0, selectHigh=10, func=subroutine'.
-enable-halo-exchange     : Implement halo exchange logic for windowed operations inside the sub-pipeline.
-replica-count            : Number of replicas (data parallelism).
-partition-count          : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.

-sdy-propagate-to-func-results

Propagate shardings from the func terminator to func results.

بخش‌بندی‌های مقادیر پایان‌دهنده func را در نتایج func.func مربوطه کپی می‌کند و بخش‌بندی‌های موجود در تابع اصلی را حفظ می‌کند.

-sdy-remove-all-gather-reduce-scatter-for-cmv1

_Removes sdy.all_gather and sdy.reducescatter for CMV1.

Removes all-gather in the pattern all-gather + dot. Removes reduce-scatter in the pattern dot + reduce-scatter. این گذر برای سازگاری با matmul جمعی نسخه ۱ (CMV1) است. It is a temporary solution for b/432019089.

-sdy-remove-propagation-debug-info

اطلاعات اشکال‌زدایی انتشار (لبه‌های انتشار و بخش‌بندی‌های مبدأ) را درطول برون‌برد برمی‌دارد.

-sdy-remove-sharding-groups

ShardingGroupOps را پس‌از انتشار برمی‌دارد.

-sdy-remove-sub-axes-in-input-output-shardings

محورهای فرعی را در قطعه‌بندی‌های ورودی/خروجی برمی‌دارد.

برخی‌از کاربران Shardy انتظار دارند ورودی‌ها/خروجی‌های تابع بدون محورهای فرعی دارای تکه‌تکه‌سازی باشند. این مجوز محورهای فرعی و محورهای دنباله‌دار آن‌ها را از توزیع‌های بُعد باز ورودی/خروجی برمی‌دارد. این گذر معمولاً پس‌از sdy-update-non-divisible-input-output-shardings انجام می‌شود تا اطمینان حاصل شود که حذف محورهای فرعی هیچ‌گونه تقسیم‌بندی غیرقابل‌تقسیم ایجاد نمی‌کند.

-sdy-reshard-to-collectives

Converts ReshardOp into various Shardy collective ops.

Matches reshard ops and rewrites them into various Shardy collective ops. پس‌از این گذر، هیچ عملیات تغییر توزیعی در واحد باقی نمی‌ماند.

اختیاری: اگر keepRedundantReshards درست باشد، تنها عملیات‌های بازبخش‌بندی که باقی می‌مانند، عملیات‌های زائد هستند. به‌طور پیش‌فرض فرض می‌کند که بازبخش‌های صریح قبلاً درج شده‌اند (sdy-insert-explicit-reshards) و بازبخش‌های زائد را نگه نمی‌دارد. اگر بازبخش‌های صریح قبلاً درج نشده باشند، باید بازبخش‌های زائد را نگه دارد.

مثال:

ورودی:

mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.reshard %arg0 <@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>

خروجی:

mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.all_gather \[{"y", "z"}, {}\] %arg0 out_sharding=<@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>

در مثال بالا، تانسور %0 : tensor<16x2xf32> به‌صورت \[{"x", "y", "z"}, {}\] قطعه‌بندی شده است. سپس، یک عملیات reshard وجود دارد که آن را به‌صورت \[{"x"}, {}\] بازتقسیم می‌کند. در محورهای اول، چون پسوند {"y", "z"} بعداز بازتکه‌بندی برداشته می‌شود، استنباط می‌کنیم که {"y", "z"} را به‌طور کامل جمع‌آوری کرده‌ایم. ابعاد دوم تغییر نمی‌کند.

گزینه‌ها

-keep-redundant-reshards : Whether it keeps redundant reshards or removes.

-sdy-resolve-permutation-factors

توزیع داده‌ها را در ابعاد نگاشت‌شده به عوامل kPermutation حل می‌کند.

ابعاد قطعه‌بندی با عوامل kPermutation ممکن است به ارتباط بین‌دستگاهی نیاز داشته باشد (مثلاً تبادل هاله برای پنجره‌ها یا جایگشت‌های جمعی برای معکوس‌ها).

اگر enableHaloExchange درست باشد، مجوز از منطق ارتباطی بهینه‌سازی‌شده دردسترس برای حل عوامل جایگشت استفاده می‌کند. درغیراین‌صورت، مجوز به‌سادگی sdy.reshard عملیات را برای تکرار آن ابعاد درج می‌کند. پیش‌فرض enableHaloExchange درست است.

گزینه‌ها

-enable-halo-exchange     : Implement halo exchange logic for windowed operations.
-replica-count            : Number of replicas (data parallelism).
-partition-count          : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.

-sdy-resolve-single-device-sharding

عملیات تک‌دستگاهی را به stablehlo.if که با شناسه دستگاه هدف محافظت می‌شود کاهش می‌دهد.

گزینه‌ها

-replica-count   : Number of replicas per partition.
-partition-count : Number of partitions per replica.

-sdy-sharding-constraint-to-reshard

‫ShardingConstraintOp را به ReshardOp تبدیل می‌کند.

-sdy-sink-data-flow-edges

همه DataFlowEdgeOp را در ورودی‌شان غرق می‌کند.

تکه‌بندی هر DataFlowEdgeOp را به ورودی آن (هدف ریشه لبه) منتقل می‌کند و op را با ورودی آن جایگزین می‌کند.

گزینه‌ها

-sink-debug-sharding-origins          : Whether to sink the debug sharding origins info. See `debug-sharding-origins` option in propagation for more info.
-sink-debug-propagation-edge-sharding : Whether to sink the debug propagation edge sharding info. See `debug-propagation-edge-sharding` option in propagation for more info.

-sdy-sink-func-data-flow-edges

همه FuncDataFlowEdgeOp را در ورودی خود غرق می‌کند.

تکه کردن هر FuncDataFlowEdgeOp را به ورودی آن منتقل می‌کند و عملگر را با ورودی آن جایگزین می‌کند.

-sdy-unflatten-call-graph

نمودار تماس را از حالت مسطح خارج می‌کند.

نمودار را از حالت مسطح خارج می‌کند. توابع با توزیع‌های ورودی/خروجی یکسان و مبدأ یکسان را که با مشخصه «original_func_name» پیوست‌شده به توابع توصیف شده است تکرارزدایی می‌کند.

گزینه‌ها

-dedup-functions-fully : If true, regardless of the input and output shardings of functions, it keeps one callee function for each caller function. The default is false, meaning it will deduplicate only if the input and output shardings are the same.

-sdy-update-non-divisible-input-output-shardings

ورودی‌ها/خروجی‌های FuncOp را به‌طور یکنواخت تکه‌تکه می‌کند و نیاز به پر کردن به‌دلیل تکه‌تکه کردن غیرقابل تقسیم را ازبین می‌برد.

کاربران Shardy انتظار دارند ورودی‌ها/خروجی‌های تابع به‌طور یکنواخت قابل‌تقسیم/تکه‌تکه شدن باشند تا از نیاز به صفرگذاری تانسورهایشان جلوگیری شود. انتشار ممکن است باعث شود ورودی‌ها/خروجی‌ها تقسیم‌بندی‌های غیرقابل‌تقسیم داشته باشند، بنابراین این گذر آن‌ها را به بزرگ‌ترین پیشوند تقسیم‌بندی بُعد تقسیم‌بندی اصلی که به‌طور یکنواخت تقسیم‌بندی شده است به‌روزرسانی می‌کند.

-sdy-verify-unreduced-axes

سازگاری استفاده از محور کاهش‌نیافته را درستی‌سنجی می‌کند.

Verifies that for every operation, if its operands have unreduced axes, the operation either explicitly reduces them (e.g., via sdy.reshard) or passes them through to its results (or is a bounding operation like func.call).