-sdy-aggressive-propagate
Agresif bölümlendirme yayma algoritmasını çalıştırır.
Parçalamaları agresif bir faktör yayılım stratejisiyle uygulayın. Temel strateji yalnızca çakışmasız parçaları dağıtırken agresif strateji çakışmaları çözer. Daha yüksek agresiflik, olası iletişim pahasına bellek kullanımını azaltabilir.
Seçenekler:
BasicPropagationPass
fiyattan başlayan tüm seçenekler-propagation-strategy
: kullanılacak faktör yayma stratejisi ###-sdy-basic-propagate
Temel parçalama yayılım algoritmasını çalıştırır.
Temel yayma algoritması, hiyerarşideki en düşük yayma stratejisidir. Çakışma çözümü yapmaz, bunun yerine tüm işlevler ve sonuçlar arasında uyumlu olan eksenleri yayar.
Seçenekler:
-keep-sharding-rules
: Mevcut ve oluşturulan op sharding kurallarının-module-dump-directory
: hata ayıklama için yeniden yazılan modüllerin döküldüğü yer-conservative-propagation
: Yayma sırasında bölünmüş eksenlere ve bölünemeyen bölme eksenlerine izin verilip verilmeyeceği ###-sdy-op-priority-propagate
İşlem önceliği yayma algoritmasını çalıştırır.
Bir dizi işlem bulmacasına göre, iterasyonlarda bölme işlemlerini dağıtır. Her heuristika, belirli bir işlem için ileri, geri veya her iki yönde de dağıtımın yapılıp yapılmayacağını belirler.
Bu değer, 0 op-priority değerinden başlar ve tüm op sezgileri tükenip program sabit bir noktaya ulaşana kadar artar.
p önceliği için tüm işlem buluşsal yöntemler 0 <= i < p aralığında dikkate alınır. BOTH > BACKWARD == FORWARD > NONE
ile her işlem için en etkileyici yön seçilir. Bu iterasyon sırasında önce FORWARD
/BACKWARD
, ardından BACKWARD
/FORWARD
görülürse yön BOTH
olur.
Bu dağıtım stratejisi, agresif dağıtım stratejisini genişletir. Bu, her işlem önceliği iterasyonunda tam agresif dağıtımın uygulanacağı anlamına gelir (AggressivePropagationPass
bölümüne bakın).
Seçenekler:
AggressivePropagationPass
tutarından başlayan tüm seçenekler-run-op-priority-propagation
: op-priority yayılımının çalıştırılıp çalıştırılmayacağı (veya atlanıp atlanmayacağı) ###-sdy-populate-op-sharding-rules
Tüm kayıtlı işlemleri OpShardingRuleAttr
ile doldurur.
Tüm kayıtlı işlemleri, kayıtlı bölme kurallarında hata ayıklama/test etme için kullanılan bir OpShardingRuleAttr
ile doldurur. Yayma işlemi zaten bunu tam zamanında yapar ancak bu geçişte tüm işlemler aynı anda yapılır.
Seçenekler
-conservative-propagation : whether to disllow rules that can propagate non-divisible sharding axes
-sdy-user-priority-propagate
Kullanıcı önceliği yayma algoritmasını çalıştırır.
Bölme işlemlerini, en yüksek öncelikten (en düşük sayı, normalde p0) en düşük önceliğe (en yüksek sayı) doğru iterasyonlarda dağıtır. Başka bir deyişle, i'inci yinelemede, yalnızca <=i önceliğine sahip boyut parçalamaları yayılır.
Bu yayılım stratejisi, işlem öncelikli yayılım stratejisini genişletir. Bu, her kullanıcı önceliği yinelemede tam işlem öncelikli yayılım uygulandığı anlamına gelir (bkz. OpPriorityPropagationPass
).
Seçenekler:
OpPriorityPropagationPass
fiyattan başlayan tüm seçenekler