-sdy-close-shardings

يغلق تجزئة الموتّر ويسقط المحاور المكررة.

-sdy-constant-or-scalar-merger

دمج الثوابت المتطابقة والتوسيعات العددية مع عمليات التقسيم المطابقة

تُجري هذه الدالة عملية تشفير خفيف الوزن من جهة العميل على الثوابت التي تتضمّن عمليات تقسيم متطابقة.

يقسّم مسار الاستيراد الثوابت وعمليات توسيع القيم العددية ويكرّرها بحيث لا يتم نشر التقسيم إلى أجزاء بين الاستخدامات المختلفة لعملية حسابية فرعية ثابتة. إذا كانت الثوابت تتضمّن عمليات تجزئة مماثلة بعد الانتشار، ستدمج هذه العملية الثوابت لتوفير وقت التجميع. لمزيد من المعلومات، يُرجى الاطّلاع على -sdy-constant-or-scalar-splitter.

-sdy-convert-global-to-local

تحويل برنامج SDY من أشكال عامة إلى أشكال محلية

يحوّل برنامج SDY من أشكال عامة إلى أشكال محلية من خلال تقسيم الأبعاد المنطقية استنادًا إلى سمات التقسيم إلى أجزاء.

تستفيد هذه العملية من محوّل نوع لربط RankedTensorType من الأشكال المنطقية العامة إلى الأشكال المادية المحلية للجهاز.

الخيارات

-per-dim-all-gather                     : Keep per-dimension all-gather without combining them into a single all-gather.
-combine-multi-dimension-reduce-scatter : Combine multi-dimension reduce-scatter into a single reduce-scatter.
-enable-rgv3                            : Use StableHLO ReplicaGroupV3 (mesh-axes based) for collectives.
-replica-count                          : Number of replicas (data parallelism).
-partition-count                        : Number of partitions (model parallelism).

-sdy-drop-sharding-and-mesh

يزيل هذا الخيار عملية الشبكة المتداخلة ورمز التقسيم إلى أجزاء من البرنامج.

الخيارات

-keep-module-sharding-metadata : Whether to keep module-level sharding metadata (sdy.parameters_shardings and sdy.output_shardings).

-sdy-drop-sharding-rules

يتم إسقاط OpShardingRuleAttr من جميع العمليات المسجَّلة.

-sdy-export-named-computations

المكالمات الواردة من NamedComputationOp عبر Outline

تنشئ هذه الدالة بطاقة تحوّل NamedComputationOp إلى CallOp باستخدام دالة خاصة جديدة تُسمّى name لـ NamedComputationOp. تتضمّن قيمتا FuncOp وCallOp الجديدتان عمليات التقسيم نفسها التي تتضمّنها قيمتا NamedComputationOp الأصليتان من حيث المعامِلات/النتائج.

إذا كانت هناك دالة تحمل الاسم نفسه كاسم NamedComputationOp في الوحدة، سيغيّر جدول رموز MLIR الاسم إلى {name}_#.

-sdy-insert-explicit-reshards

تُدرج عمليات إعادة تقسيم واضحة لجعل جميع العمليات تحتوي على تقسيمات متوافقة.

يعني التقسيم المتوافق بشكل أساسي أنّ العملية يمكن أن تقبل المعاملات المقسّمة وتنتج نتيجة مقسّمة بدون الحاجة إلى أي اتصالات إعادة تقسيم (يُرجى العِلم أنّ العملية قد تتطلّب اتصالاً مثل all-reduce أو halo-swaps).

بعد الانتشار، قد تظل بعض العمليات تتضمّن تقسيمات غير متوافقة.

يُرجى العِلم أنّه عندما يتم استخدام محور (أو محور فرعي) لتقسيم أبعاد غير متطابقة (مثل الأبعاد غير المتقلّصة في matmul) على مستوى عدة مصفوفات، أو عندما يقسّم محور بُعدًا في مصفوفة واحدة وليس البُعد المقابل في المصفوفة الأخرى، يُقال إنّ العملية تتضمّن تعارضًا في التقسيم. وبالتالي، بعد هذه الخطوة، تصبح العمليات خالية من التعارض.

تُدخل هذه العملية عمليات إعادة التقسيم بشكل صريح بحيث تصبح الأبعاد المقابلة لكل عملية مقسّمة بالطريقة نفسها في جميع المعاملات والنتائج، ولا يمكن استخدام كل محور (أو محور فرعي) إلا لتقسيم نوع بُعد واحد.

مثال:

الإدخال:

mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
stablehlo.dot %lhs, %rhs {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
  : (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>

إخراج:

sdy.mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
%0 = sdy.reshard %rhs <@mesh, \[{"y"}, {}\]> : tensor<32x16xf32>
stablehlo.dot %lhs, %0 {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
  : (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>

في المثال أعلاه، يتم تقسيم كل من lhs وrhs على المحور "x" في أبعادهما غير المتقلصة، وهو أمر غير متوافق. تُدرج عملية النقل إعادة تقسيم صريحة على rhs قبل عملية النقطة، حتى تتضمّن عملية النقطة عمليات تقسيم متوافقة.

الخيارات

-enable-full-version                     : Enable full version.
-mark-partial-result-with-unreduced-axes : Whether to mark partial reduction results with unreduced axes.

-sdy-insert-func-call-reshards

تُدرج هذه الدالة عمليات إعادة تقسيم لتعارضات تقسيم الدوال والاستدعاءات.

تُدرج هذه السمة عمليات إعادة التقسيم بسبب تعارضات تقسيم الدوال واستدعاء الدوال في النتائج.

-sdy-optimize-collectives

تحسين عمليات الاتصال الجماعي

Eliminates redundant collective-permute operations preceding all-to-all chains by decomposing split dimensions and fusing into a combined all-to-all.

-sdy-pad-for-divisibility

تُضيف هذه الدالة حشوًا إلى الموتّرات ذات التجزئات غير القابلة للقسمة لتصبح أشكالاً قابلة للقسمة.

-sdy-per-instruction-partitioning

_يستخرج التعليمات المستهدَفة بشكل انتقائي، ويشغّل مسار التقسيم عليها لإنشاء رمز برمجي على الجهاز، ويغلّفها في sdy.manualcomputation.

لأغراض تصحيح الأخطاء والتقسيم الثنائي، يتم تقسيم التعليمات الفردية بشكل انتقائي باستخدام مسار تقسيم Shardy المستقل (resolve-permutation-factors وreshard-to-collectives وpad-for-divisibility وconvert-global-to-local)، ويتم تضمين الرمز البرمجي الناتج على الجهاز المحلي داخل sdy.manual_computation. يؤدي ذلك إلى الحفاظ على سلامة بقية البرنامج العام، وبالتالي لا تقسم XLA SPMD سوى التعليمات العامة غير المغلَّفة.

الخيارات

-filter                   : Filter string for selective partitioning. Can be empty (all sharded ops), comma-separated op name substrings (e.g. 'dot, pad'), or key-values like 'selectLow=0, selectHigh=10, func=subroutine'.
-enable-halo-exchange     : Implement halo exchange logic for windowed operations inside the sub-pipeline.
-replica-count            : Number of replicas (data parallelism).
-partition-count          : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.

-sdy-propagate-to-func-results

نشر عمليات التقسيم من دالة الإنهاء إلى نتائج الدالة

يتم نسخ تقسيمات قيم مُنهي الدالة إلى نتائج func.func المقابلة، مع الحفاظ على التقسيمات الحالية في الدالة الرئيسية.

-sdy-remove-all-gather-reduce-scatter-for-cmv1

_يزيل sdy.all_gather وsdy.reducescatter لـ CMV1.

يزيل all-gather في النمط all-gather + dot. يزيل هذا الخيار عملية تقليل التشتيت (reduce-scatter) في النمط نقطة + تقليل التشتيت. هذا المسار مخصّص للتوافق مع عملية الضرب الجماعي للمصفوفات (CMV1). هذا حلّ مؤقت للمشكلة b/432019089.

-sdy-remove-propagation-debug-info

تتم إزالة معلومات تصحيح أخطاء الانتشار (حواف الانتشار وتقسيمات المصدر) أثناء التصدير.

-sdy-remove-sharding-groups

يزيل ShardingGroupOps بعد الانتشار.

-sdy-remove-sub-axes-in-input-output-shardings

إزالة المحاور الفرعية في تقسيمات الإدخال/الإخراج

يتوقّع بعض مستخدمي Shardy أن تتضمّن مدخلات/مخرجات الدالة تقسيمًا بدون محاور فرعية. تؤدي هذه العملية إلى إزالة المحاور الفرعية والمحاور اللاحقة من عمليات تقسيم الأجزاء ذات الأبعاد المفتوحة للإدخال والإخراج. يتم تنفيذ هذه الخطوة عادةً بعد sdy-update-non-divisible-input-output-shardings لضمان أنّ إزالة المحاور الفرعية لا تؤدي إلى أي تقسيمات غير قابلة للقسمة.

-sdy-reshard-to-collectives

تحوّل هذه الدالة ReshardOp إلى عمليات جماعية مختلفة في Shardy.

تطابق عمليات إعادة التقسيم وتعيد كتابتها إلى عمليات جماعية مختلفة في Shardy. بعد هذه العملية، لن تبقى أي عمليات إعادة تقسيم في الوحدة.

اختياريًا، إذا كانت قيمة keepRedundantReshards هي "صحيح"، ستكون عمليات إعادة التقسيم المتبقية هي العمليات المكررة فقط. يفترض هذا الخيار تلقائيًا أنّه تم إدراج عمليات إعادة تقسيم واضحة (sdy-insert-explicit-reshards) ولا يحتفظ بعمليات إعادة التقسيم المكرّرة. يجب أن يحتفظ بعمليات إعادة التقسيم المتكررة إذا لم يتم إدراج عمليات إعادة التقسيم الصريحة من قبل.

مثال:

الإدخال:

mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.reshard %arg0 <@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>

إخراج:

mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.all_gather \[{"y", "z"}, {}\] %arg0 out_sharding=<@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>

في المثال أعلاه، يتم تقسيم الموتر %0 : tensor<16x2xf32> على النحو التالي: \[{"x", "y", "z"}, {}\]. بعد ذلك، يتم تنفيذ عملية reshard لإعادة تقسيمها إلى \[{"x"}, {}\]. في المحاور الأولى، بما أنّه تتم إزالة اللاحقة {"y", "z"} بعد إعادة التقسيم، نستنتج أنّ لدينا {"y", "z"} مجمّعة بالكامل. لا يتم تغيير السمة الثانية.

الخيارات

-keep-redundant-reshards : Whether it keeps redundant reshards or removes.

-sdy-resolve-permutation-factors

يحلّ مشكلة التقسيم على الأبعاد المرتبطة بعوامل kPermutation.

قد تتطلّب سمات التقسيم مع عوامل kPermutation عمليات تبادل بيانات بين الأجهزة (مثل تبادل بيانات Halo للنوافذ أو عمليات التبديل الجماعية للعمليات العكسية).

إذا كانت قيمة enableHaloExchange صحيحة، سيستخدم المسار منطق اتصال محسّنًا متاحًا لحلّ عوامل التبديل. بخلاف ذلك، ستضيف التذكرة ببساطة sdy.reshard عمليات لتكرار هذه السمات. القيمة التلقائية لـ enableHaloExchange هي true.

الخيارات

-enable-halo-exchange     : Implement halo exchange logic for windowed operations.
-replica-count            : Number of replicas (data parallelism).
-partition-count          : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.

-sdy-resolve-single-device-sharding

يتم خفض العمليات على جهاز واحد إلى stablehlo.if المحمي برقم تعريف الجهاز المستهدف.

الخيارات

-replica-count   : Number of replicas per partition.
-partition-count : Number of partitions per replica.

-sdy-sharding-constraint-to-reshard

تحوّل ShardingConstraintOp إلى ReshardOp.

-sdy-sink-data-flow-edges

يتم إغراق جميع DataFlowEdgeOp في مدخلاتها.

تنقل هذه السمة عملية التقسيم إلى أجزاء لكل DataFlowEdgeOp إلى الإدخال الخاص بها (الهدف الأساسي للحافة)، وتستبدل العملية بالإدخال الخاص بها.

الخيارات

-sink-debug-sharding-origins          : Whether to sink the debug sharding origins info. See `debug-sharding-origins` option in propagation for more info.
-sink-debug-propagation-edge-sharding : Whether to sink the debug propagation edge sharding info. See `debug-propagation-edge-sharding` option in propagation for more info.

-sdy-sink-func-data-flow-edges

تغرق جميع FuncDataFlowEdgeOp في مدخلها.

يتم نقل تقسيم كل FuncDataFlowEdgeOp إلى الإدخال الخاص به واستبدال العملية بالإدخال الخاص بها.

-sdy-unflatten-call-graph

إزالة تسوية الرسم البياني للمكالمات:

إلغاء تسوية الرسم البياني وتزيل هذه الدالة تكرار الدوال التي لها نفس أجزاء الإدخال/الإخراج و نفس المصدر كما هو موضّح في السمة "original_func_name" المرفقة بالدوال.

الخيارات

-dedup-functions-fully : If true, regardless of the input and output shardings of functions, it keeps one callee function for each caller function. The default is false, meaning it will deduplicate only if the input and output shardings are the same.

-sdy-update-non-divisible-input-output-shardings

تتيح تقسيم مدخلات/مخرجات FuncOp بالتساوي، ما يزيل أي حاجة إلى إضافة مساحة فارغة بسبب عمليات التقسيم غير القابلة للقسمة.

يتوقّع مستخدمو Shardy أن تكون مدخلات/مخرجات الدالة قابلة للقسمة/التجزئة بالتساوي لتجنُّب الحاجة إلى إضافة مساحة فارغة إلى الموترات. قد تؤدي عملية الانتشار إلى تقسيم المدخلات/المخرجات إلى أجزاء غير قابلة للقسمة، لذا تعمل هذه الخطوة على تعديلها إلى أكبر بادئة تقسيم أجزاء في عملية التقسيم الأصلية التي تم تقسيمها بالتساوي.

-sdy-verify-unreduced-axes

تتحقّق من اتساق استخدام المحور غير المختزل.

تتحقّق هذه السمة من أنّه في كل عملية، إذا كانت معاملات هذه العملية تتضمّن محاور غير مخفَّضة، فإنّ العملية إما تخفضها بشكل صريح (على سبيل المثال، من خلال sdy.reshard) أو تمرّرها إلى نتائجها (أو تكون عملية حدودية مثل func.call).