-sdy-close-shardings
Tensor parçalamalarını kapatır ve kopyalanmış eksenleri bırakır.
-sdy-constant-or-scalar-merger
Aynı sabitleri ve skaler genişletmeleri eşleşen parçalamalarla birleştirin.
Aynı parçalara ayırma işlemine sahip sabitler üzerinde basit bir CSE gerçekleştirir.
İçe aktarma ardışık düzeni, sabitleri ve skaler genişletmeleri bölüp kopyalar. Böylece, parçalama işlemi sabit bir alt hesaplamanın farklı kullanımları arasında yayılmaz. Sabitler, yayılmadan sonra aynı parçalamalara sahipse bu geçiş, derleme süresinden tasarruf etmek için bunları birleştirir. Daha fazla bilgi için -sdy-constant-or-scalar-splitter sayfasına bakın.
-sdy-convert-global-to-local
Bir SDY programını global şekillerden yerel şekillere dönüştürür.
Parçalama özelliklerine göre mantıksal boyutları bölerek bir SDY programını global şekillerden yerel şekillere dönüştürür.
Bu geçiş, RankedTensorType'ı global mantıksal şekillerden cihaza özgü fiziksel şekillere eşlemek için bir tür dönüştürücü kullanır.
Seçenekler
-per-dim-all-gather : Keep per-dimension all-gather without combining them into a single all-gather.
-combine-multi-dimension-reduce-scatter : Combine multi-dimension reduce-scatter into a single reduce-scatter.
-enable-rgv3 : Use StableHLO ReplicaGroupV3 (mesh-axes based) for collectives.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-sdy-drop-sharding-and-mesh
Programdan mesh op ve parçalama gösterimini kaldırır.
Seçenekler
-keep-module-sharding-metadata : Whether to keep module-level sharding metadata (sdy.parameters_shardings and sdy.output_shardings).
-sdy-drop-sharding-rules
Tüm kayıtlı operatörlerden OpShardingRuleAttr düşer.
-sdy-export-named-computations
NamedComputationOp üzerinden Outline aramaları.
NamedComputationOp'nin name adlı yeni bir özel işleviyle NamedComputationOp'yi CallOp'ye dönüştüren bir geçiş oluşturur. Yeni FuncOp ve CallOp, orijinal NamedComputationOp işlenenleri/sonuçlarıyla aynı parçalamalara sahiptir.
Modülde NamedComputationOp ile aynı ada sahip bir işlev varsa MLIR sembol tablosu bunu {name}_# olarak değiştirir.
-sdy-insert-explicit-reshards
Tüm işlemlerin uyumlu parçalara sahip olması için açık yeniden parçalama işlemleri ekler.
Uyumlu bir parçalama, işlemin parçalı operandları kabul edebileceği ve herhangi bir yeniden parçalama iletişimi gerektirmeden parçalı bir sonuç üretebileceği anlamına gelir (işlemin yine de all-reduce veya halo-swap gibi iletişim gerektirebileceğini unutmayın).
Yayılmadan sonra bazı işlemler hâlâ uyumsuz parçalamalara sahip olabilir.
Bir eksen (veya alt eksen), karşılık gelmeyen boyutları (ör. matmul'da daralmayan boyutlar) birden fazla tensörde parçalamak için kullanıldığında veya bir eksen, bir tensördeki bir boyutu parçalayıp diğer tensördeki karşılık gelen boyutu parçalamadığında işlemin parçalama çakışması olduğu söylenir. Bu nedenle, bu geçişten sonra işlemler çakışmasız hale gelir.
Bu geçiş, yeniden parçalama işlemlerini açıkça ekler. Böylece her işlem için ilgili boyutlar tüm işlenenler ve sonuçlar genelinde aynı şekilde parçalanır ve her eksen (veya alt eksen) yalnızca tek bir boyut türünü parçalamak için kullanılabilir.
Örnek:
Giriş:
mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
stablehlo.dot %lhs, %rhs {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
: (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>
Çıkış:
sdy.mesh = <"x"=4, "y"=2>
%lhs : tensor<8x32xf32> {sdy.sharding=<@mesh, \[{"x"}, {"y"}\]>}
%rhs : tensor<32x16xf32> {sdy.sharding=<@mesh, \[{"y"}, {"x"}\]>}
%0 = sdy.reshard %rhs <@mesh, \[{"y"}, {}\]> : tensor<32x16xf32>
stablehlo.dot %lhs, %0 {sdy.sharding_per_value=<[<@mesh, \[{"x"}, {}\]>]>}
: (tensor<8x32xf32>, tensor<32x16xf32>) -> tensor<8x16xf32>
Yukarıdaki örnekte, lhs ve rhs, daralmayan boyutlarında "x" ekseninde parçalara ayrılmıştır. Bu durum uyumsuzdur. Geçiş, nokta işleminden önce rhs üzerinde açık bir yeniden parçalama işlemi ekler. Böylece nokta işlemi uyumlu parçalamalara sahip olur.
Seçenekler
-enable-full-version : Enable full version.
-mark-partial-result-with-unreduced-axes : Whether to mark partial reduction results with unreduced axes.
-sdy-insert-func-call-reshards
İşlev ve çağrı parçalama çakışmaları için yeniden parçalama ekler.
Sonuçlarda işlev ve çağrı parçalama çakışmaları için yeniden parçalama işlemleri ekler.
-sdy-optimize-collectives
Toplu iletişim işlemlerini optimize eder.
Bölünmüş boyutları ayrıştırıp birleştirilmiş bir tümden tüme işleminde birleştirerek tümden tüme zincirlerinden önceki gereksiz toplu permütasyon işlemlerini ortadan kaldırır.
-sdy-pad-for-divisibility
Bölünemeyen parçalara sahip tensörleri bölünebilir şekillere doldurur.
-sdy-per-instruction-partitioning
_Hedef talimatları seçerek ayıklar, cihaz yerel kodu oluşturmak için bölümleyici ardışık düzenini bu talimatlar üzerinde çalıştırır ve bunları sdy.manualcomputation içinde sarmalar.
Hata ayıklama ve ikiye bölme amacıyla, bağımsız Shardy bölümleyici ardışık düzenini (resolve-permutation-factors, reshard-to-collectives, pad-for-divisibility, convert-global-to-local) kullanarak talimatları seçerek bölümlere ayırır ve elde edilen cihaza özel kodu sdy.manual_computation içine sarmalar. Bu sayede, global programın geri kalanı bozulmadan kalır. Böylece XLA SPMD yalnızca sarmalanmamış global talimatları bölümler.
Seçenekler
-filter : Filter string for selective partitioning. Can be empty (all sharded ops), comma-separated op name substrings (e.g. 'dot, pad'), or key-values like 'selectLow=0, selectHigh=10, func=subroutine'.
-enable-halo-exchange : Implement halo exchange logic for windowed operations inside the sub-pipeline.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.
-sdy-propagate-to-func-results
Parçalamaları işlev sonlandırıcıdan işlev sonuçlarına yayma
Ana işlevdeki mevcut parçalamaları koruyarak işlev sonlandırıcı değerlerinin parçalamalarını karşılık gelen func.func sonuçlarına kopyalar.
-sdy-remove-all-gather-reduce-scatter-for-cmv1
_CMV1 için sdy.all_gather ve sdy.reducescatter'ı kaldırır.
all-gather + nokta desenindeki all-gather işlemini kaldırır. reduce-scatter'ı, nokta + reduce-scatter deseninde kaldırır. Bu geçiş, toplu matmul V1 (CMV1) ile uyumluluk içindir. b/432019089 için geçici bir çözümdür.
-sdy-remove-propagation-debug-info
Dışa aktarma sırasında yayılma hata ayıklama bilgilerini (yayılma kenarları ve kaynak parçalama) kaldırır.
-sdy-remove-sharding-groups
Yayılmadan sonra ShardingGroupOps'u kaldırır.
-sdy-remove-sub-axes-in-input-output-shardings
Giriş/çıkış parçalamalarındaki alt eksenleri kaldırır.
Bazı Shardy kullanıcıları, işlev girişlerinin/çıkışlarının alt eksenler olmadan parçalara ayrılmasını bekler. Bu geçiş, alt eksenleri ve bunların giriş/çıkış açık boyut parçalamalarındaki son eksenlerini kaldırır. Bu geçiş genellikle sdy-update-non-divisible-input-output-shardings sonrasında yapılır. Böylece alt eksenlerin kaldırılmasıyla bölünemeyen parçalanmaların oluşması önlenir.
-sdy-reshard-to-collectives
ReshardOp'u çeşitli Shardy toplu işlemlerine dönüştürür.
Yeniden parçalama işlemlerini eşleştirir ve bunları çeşitli Shardy Collective işlemlerine yeniden yazar. Bu geçişten sonra modülde yeniden parçalama işlemi kalmaz.
İsteğe bağlı olarak keepRedundantReshards doğruysa yalnızca gereksiz yeniden parçalama işlemleri kalır. Varsayılan olarak, açık yeniden parçalamaların zaten eklenmiş olduğunu (sdy-insert-explicit-reshards) varsayar ve gereksiz yeniden parçalamaları saklamaz. Açıkça yeniden parçalama işlemi yapılmamışsa gereksiz yeniden parçalama işlemlerini korur.
Örnek:
Giriş:
mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.reshard %arg0 <@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>
Çıkış:
mesh = <"x"=2, "y"=2, "z"=2>
%0 : tensor<16x2xf32> {sdy.sharding<@mesh, \[{"x", "y", "z"}, {}\]>
%1 = sdy.all_gather \[{"y", "z"}, {}\] %arg0 out_sharding=<@mesh, \[{"x"}, {}\]> : tensor<16x2xf32>
Yukarıdaki örnekte, %0 : tensor<16x2xf32> tensörü \[{"x", "y", "z"}, {}\] olarak parçalanır. Ardından, reshard olarak yeniden parçalama işlemi yapılır
\[{"x"}, {}\]. İlk eksende, yeniden parçalama işleminden sonra {"y", "z"} son eki kaldırıldığı için {"y", "z"}'nin tamamını topladığımızı varsayıyoruz. İkinci boyut değiştirilmez.
Seçenekler
-keep-redundant-reshards : Whether it keeps redundant reshards or removes.
-sdy-resolve-permutation-factors
kPermutation faktörleriyle eşlenen boyutlarda parçalamayı çözer.
kPermutation faktörle parçalama boyutları, cihazlar arası iletişim gerektirebilir (ör. pencereler için halo değişimi veya tersler için toplu permütasyonlar).
enableHaloExchange doğruysa kart, permütasyon faktörlerini çözmek için mevcut optimize edilmiş bir iletişim mantığını kullanır. Aksi takdirde, kart bu boyutları kopyalamak için sdy.reshard işlemini ekler. enableHaloExchange için varsayılan değer "true"dur.
Seçenekler
-enable-halo-exchange : Implement halo exchange logic for windowed operations.
-replica-count : Number of replicas (data parallelism).
-partition-count : Number of partitions (model parallelism).
-rng-bit-generator-unsafe : Whether to allow unsafe partitioning of stablehlo.rng_bit_generator.
-sdy-resolve-single-device-sharding
Tek cihazlı işlemleri, hedef cihaz kimliğiyle korunan stablehlo.if'e düşürür.
Seçenekler
-replica-count : Number of replicas per partition.
-partition-count : Number of partitions per replica.
-sdy-sharding-constraint-to-reshard
ShardingConstraintOp'u ReshardOp'a dönüştürür.
-sdy-sink-data-flow-edges
Tüm DataFlowEdgeOp, girişlerine dahil edilir.
Her DataFlowEdgeOp öğesinin parçalamasını girişine (kenarın kök hedefi) taşır ve işlemi girişiyle değiştirir.
Seçenekler
-sink-debug-sharding-origins : Whether to sink the debug sharding origins info. See `debug-sharding-origins` option in propagation for more info.
-sink-debug-propagation-edge-sharding : Whether to sink the debug propagation edge sharding info. See `debug-propagation-edge-sharding` option in propagation for more info.
-sdy-sink-func-data-flow-edges
Tüm FuncDataFlowEdgeOp öğelerini girişlerine batırır.
Her FuncDataFlowEdgeOp öğesinin parçalama işlemini girişine taşır ve işlemi girişiyle değiştirir.
-sdy-unflatten-call-graph
Çağrı grafiğini düzleştirmez.
Grafiği düzleştirir. Aynı giriş/çıkış parçalamalarına ve işlevlere eklenen "original_func_name" özelliğiyle açıklanan aynı kaynağa sahip işlevleri tekilleştirir.
Seçenekler
-dedup-functions-fully : If true, regardless of the input and output shardings of functions, it keeps one callee function for each caller function. The default is false, meaning it will deduplicate only if the input and output shardings are the same.
-sdy-update-non-divisible-input-output-shardings
FuncOp girişlerini/çıkışlarını eşit şekilde parçalayarak bölünemeyen parçalama nedeniyle dolgu ihtiyacını ortadan kaldırır.
Shardy kullanıcıları, tensörlerini doldurmak zorunda kalmamak için işlev girişlerinin/çıkışlarının eşit şekilde bölünebilir/parçalanabilir olmasını bekler. Yayma, girişlerin/çıkışların bölünemeyen parçalara ayrılmasına neden olabilir. Bu nedenle bu geçiş, bunları eşit şekilde parçalara ayrılmış orijinal parçalama işleminin en büyük boyutlu parçalama önekiyle günceller.
-sdy-verify-unreduced-axes
Azaltılmamış eksen kullanımının tutarlılığını doğrular.
Her işlem için, işlenenlerinde azaltılmamış eksenler varsa işlemin bunları açıkça azalttığını (ör. sdy.reshard aracılığıyla) veya sonuçlarına geçirdiğini (ya da func.call gibi sınırlayıcı bir işlem olduğunu) doğrular.