Operator Fusion
tokamax.ops.op_fusion আপনাকে JAX Pallas Fuser-এর মাধ্যমে সরাসরি ফিউজ করা যায় এমন Tokamax Pallas TPU কার্নেলে আশেপাশের JAX অপারেশন (প্রোলগ ও এপিলগ) ফিউজ করতে দেয়।
নর্মালাইজেশন বা অ্যাক্টিভেশন এবং কাস্টম কার্নেলের মধ্যে HBM-এ ইন্টারমিডিয়েট অ্যাক্টিভেশন মেটেরিয়ালাইজ করার পরিবর্তে, কার্নেল লুপের মধ্যে প্রতিটি টাইল VMEM-এ ফিউজড অপারেশন রান করে।
@op_fusion.fuse ব্যবহৃত হচ্ছে
প্রাথমিক ব্যবহার (প্রোলগ ও এপিলগ)
tokamax.ops থেকে op_fusion ইমপোর্ট করুন এবং @op_fusion.fuse (সাধারণত @jax.jit-এর মধ্যে) সহ ফিউজেবল
Tokamax অপারেটর আছে এমন ফাংশন র্যাপ করুন:
import jax
import jax.numpy as jnp
import tokamax
from tokamax.ops import op_fusion
def rms_norm(x: jax.Array, weight: jax.Array, eps: float = 1e-6) -> jax.Array:
ms = jnp.mean(jnp.square(x.astype(jnp.float32)), axis=-1, keepdims=True)
return (x.astype(jnp.float32) * jax.lax.rsqrt(ms + eps)).astype(
x.dtype
) * weight
@jax.jit
@op_fusion.fuse
def fused_ragged_dot(x, rms_weight, rhs, out_bias, group_sizes):
# Prologue: fused into the kernel's LHS tile load.
x_norm = rms_norm(x, rms_weight)
out = tokamax.ragged_dot(
x_norm,
rhs,
group_sizes=group_sizes,
implementation="mosaic_tpu_v2",
)
# Epilogue: fused into the kernel's output store.
return jax.nn.silu(out + out_bias)
আপনি স্পষ্ট ফিউজিবল ইমপ্লিমেন্টেশন (tokamax.ragged_dot(..., implementation="mosaic_tpu_v2")) সহ হাই-লেভেল ফাংশনাল API অথবা
সরাসরি নির্দিষ্ট tokamax.Op ইনস্ট্যান্স (যেমন
PallasMosaicTpuV2RaggedDot) কল করতে পারেন।
@op_fusion.fuse-এর মধ্যে কোনও অপারেটর ফিউশন সাপোর্ট না করলে, Tokamax
NotImplementedError দেখায়।
ডেকোরেটর বিকল্প
op_fusion.fuse এর কীওয়ার্ড আর্গুমেন্টগুলি
jax.experimental.pallas.fuser.fuse-এ ফরওয়ার্ড করে:
@op_fusion.fuse(
resolve_fusion_dtypes=True,
debug=False,
strict_mode=True,
static_argnums=None,
static_argnames=None,
)
static_argnums/static_argnames: ফিউজড ফাংশন কল করার সময় নন-অ্যারে Python আর্গুমেন্ট (যেমন, স্কেলার কনফিগারেশন ভ্যালু বা বুলিয়ান ফ্ল্যাগ) স্ট্যাটিক হিসেবে চিহ্নিত করুন।debug=True: ট্রেস করা ফিউশন jaxprs প্রিন্ট করে যাতে কোনও op কেন ফিউজ হয়নি বা ব্লক-স্পেক প্রোপাগেশন কেন ব্যর্থ হয়েছে তা ডায়াগনসিস করতে সাহায্য করে।strict_mode: Pallas Fuser-এর কঠোর ব্লক-স্পেক সমতুল্য চেক নিয়ন্ত্রণ করে।
কোয়ান্টাইজড ইনপুট ও বিল্ট-ইন কার্নেল অ্যাক্টিভেশন
ফিউজড প্রোলগ অন-দ্য-ফ্লাই অ্যাক্টিভেশন কোয়ান্টাইজেশন (AsQArray),
প্রি-কোয়ান্টাইজড ওয়েট (qwix.QArray) এবং PallasMosaicTpuV2RaggedDot-এ বিল্ট-ইন ফিউজড গেট/আপ অ্যাক্টিভেশনের সাথে কম্পোজ করে:
import jax
import jax.numpy as jnp
import qwix
from tokamax._src import quantization
from tokamax._src.ops.ragged_dot import pallas_mosaic_tpu_v2
from tokamax.ops import op_fusion
gmm_op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot()
@op_fusion.fuse
def fused_rms_norm_gate_up(x, rms_weight, w_q, w_scale, group_sizes):
x_norm = rms_norm(x, rms_weight)
return gmm_op(
quantization.AsQArray(x_norm, jnp.float8_e4m3fn),
qwix.QArray(w_q, w_scale),
group_sizes=group_sizes,
zero_initialize=False,
fuse_gateup_activation="silu",
preferred_element_type=jnp.bfloat16,
)
@op_fusion.fuse ব্লকে একটি Fusible Op
JAX Pallas Fuser প্রতিটি @op_fusion.fuse স্কোপে একটি ফিউজেবল কার্নেল সাপোর্ট করে।
একাধিক কার্নেল চেইন করার সময় (যেমন, MoE ব্লকে gate_up-এর পরে down), প্রতিটি ফিউজিবল স্টেজকে বাইরের @jax.jit-এর মধ্যে নিজস্ব @op_fusion.fuse ফাংশনে র্যাপ করুন:
@jax.jit
def moe_layer(x, rms_weight, w1_q, w1_scale, w2_q, w2_scale, group_sizes):
mid = fused_rms_norm_gate_up(x, rms_weight, w1_q, w1_scale, group_sizes)
return gmm_op(
quantization.AsQArray(mid, jnp.float8_e4m3fn),
qwix.QArray(w2_q, w2_scale),
group_sizes=group_sizes,
zero_initialize=False,
preferred_element_type=jnp.bfloat16,
)
স্পষ্ট @jax.custom_vjp সহ অটোমেটিক ডিফারেন্সিয়েশন
@op_fusion.fuse ফরোয়ার্ড কম্পিউটেশন ব্লক ফিউজ করে এবং jax.grad-এর মাধ্যমে ফিউজড ব্যাকওয়ার্ড পাস অটোমেটিক
সিন্থেসাইজ করে না। ফিউজড ব্লক ডিফারেনশিয়েট করার সময়, ফরওয়ার্ড ও ব্যাকওয়ার্ড কলকে একটি এক্সপ্লিসিট
@jax.custom_vjp-এ র্যাপ করুন যাতে আপনি ফরওয়ার্ড ও ব্যাকওয়ার্ড (drhs / dlhs) কার্নেলে
প্রোলগ/এপিলগ স্বাধীনভাবে ফিউজ করতে পারেন:
import jax
from tokamax._src.ops.ragged_dot import pallas_mosaic_tpu_v2
from tokamax.ops import op_fusion
op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot()
drhs_op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot(
num_actual_groups=num_groups
)
@op_fusion.fuse
def fused_fwd_kernel(x, w, r, group_sizes):
return op(rms_norm(x, w), r, group_sizes=group_sizes, zero_initialize=True)
@op_fusion.fuse
def fused_drhs_kernel(x, w, dy, group_sizes):
return drhs_op(
rms_norm(x, w),
dy,
group_sizes=group_sizes,
ragged_dot_dimension_numbers=pallas_mosaic_tpu_v2.DRHS_RAGGED_DOT_DIM_NUMS,
preferred_element_type=dy.dtype,
)
@jax.custom_vjp
def fused_gmm(x, w, r, group_sizes):
return fused_fwd_kernel(x, w, r, group_sizes)
def fused_gmm_fwd(x, w, r, group_sizes):
return fused_fwd_kernel(x, w, r, group_sizes), (x, w, r, group_sizes)
def fused_gmm_bwd(residuals, dy):
x, w, r, group_sizes = residuals
dr = fused_drhs_kernel(x, w, dy, group_sizes)
dx_norm = op(
dy,
r,
group_sizes=group_sizes,
ragged_dot_dimension_numbers=pallas_mosaic_tpu_v2.DLHS_RAGGED_DOT_DIM_NUMS,
zero_initialize=True,
)
_, rms_vjp = jax.vjp(rms_norm, x, w)
dx, dw = rms_vjp(dx_norm)
return dx, dw, dr, None
fused_gmm.defvjp(fused_gmm_fwd, fused_gmm_bwd)
বেয়ার ফিউজিবল কার্নেল ব্যবহার করা
ব্যাকওয়ার্ড কম্প্যাটিবিলিটি বজায় রাখতে এবং
ইনপুট ক্যানোনিকালাইজেশন, অটোটিউনিং ও মেটাডেটা সিরিয়ালাইজেশন ধরে রাখতে, বেয়ার ফিউজিবল কার্নেল ও @jax.experimental.pallas.fuser.fuse-এর পরিবর্তে Tokamax অপারেটর র্যাপার (tokamax.ragged_dot
বা PallasMosaicTpuV2RaggedDot) সহ @op_fusion.fuse ব্যবহার করুন। আপনি যদি
সরাসরি লো-লেভেল gmm_v2 / tgmm_v2 কার্নেল ইনভোক করেন, তাহলে
@op_fusion.fuse বা @jax.experimental.pallas.fuser.fuse-এর মধ্যে
gmm_fuser.gmm_v2_fusible বা gmm_fuser.tgmm_v2_fusible ব্যবহার করুন:
from jax.experimental.pallas import fuser
from tokamax._src.ops.gmm_v2 import gmm_fuser
@jax.jit
@fuser.fuse
def fused_bare_gmm(x, w, rhs, out_bias, group_sizes):
out = gmm_fuser.gmm_v2_fusible(rms_norm(x, w), rhs, group_sizes)
return jax.nn.silu(out + out_bias)
gmm_v2_fusible / tgmm_v2_fusible-এর চারপাশে কোনও প্রস্তাবনা বা উপসংহার অপ না থাকলে,
তুচ্ছ 0-সমীকরণ ফিউশন আনর্যাপ করা হয় যাতে কম্পাইল করা কার্নেল সঠিক
আনফিউজড পাথ নেয়।
সমর্থিত অপারেশন এবং সীমাবদ্ধতা
- বর্তমানে কাজ করে এমন Tokamax ops:
PallasMosaicTpuV2RaggedDot(implementation="mosaic_tpu_v2", forward/dlhsgmm_v2এবং drhstgmm_v2দুটিই কভার করে)। - প্রোলগ / এপিলগ JAX প্রিমিটিভ কাজ করে:
JAX Pallas Fuser দ্বারা পরিচালিত।
সাধারণত কাজ করে এমন ops-এর মধ্যে রয়েছে পয়েন্টওয়াইজ ইউনারি/বাইনারি ম্যাথ,
select/clamp, dtype কাস্ট,broadcast_in_dim,transpose,concatenate/stack/splitএবং সম্পূর্ণ ব্লক অ্যাক্সিস জুড়েreduce_sum(যেমনRMSNorm)। ফিউজার ব্লক-স্পেক নিয়ম ছাড়া ops—যেমনlax.pad, কন্ট্রোল ফ্লো (scan/while/cond) এবংreduce_max/reduce_min—ফিউজ করা যাবে না। PallasMosaicTpuV2RaggedDotফিউশন কনস্ট্রেন্ট:size_mঅবশ্যই TPU সাবলেন টাইলিংয়ের (size_lhs_sublane) সাথে অ্যালাইন করতে হবে যখনlhsবাout,gmm_v2-এ ফিউজ করা হয় (এবং যখনlhsবাrhs,tgmm_v2-এ ফিউজ করা হয়)।outফিউজ করা হলে,out_size_n(এবংtgmm_v2-এর জন্যsize_k) অবশ্যইnum_lanes(১২৮) / টাইল সাইজের সাথে অ্যালাইন করতে হবে এবং শুধুমাত্র সিঙ্গেল-আউটপুট এপিলগ কাজ করে।- ফিউশনের সাথে
partial_sumকাজ করে না। gmm_v2-এ ফিউজ করাrhs,fuse_actবা সাব-বাইট প্যাক করা ওয়েটের সাথে কাজ করে না।
ফিউশন-মানানসই কার্নেল ও Op তৈরি করা
আর্কিটেকচার ওভারভিউ
Fusion ডিসপ্যাচ পাবলিক ফ্যাকাড, ইন্টার্নাল অ্যাডাপ্টার,
Op ক্লাস এবং কার্নেলের কম্প্যানিয়ন ফিউজার মডিউলের মধ্যে বিভক্ত:
tokamax/ops/op_fusion.pyপাবলিক এন্ট্রি পয়েন্ট হিসেবেfuseআবার এক্সপোর্ট করে।tokamax._src.ops.fuser_adapterjax.experimental.pallas.fuser.fuse-এর চারপাশে JAX ব্যবহারকারীর প্রসঙ্গ ফ্ল্যাগ (in_op_fusion_context()) সেট করে।- সেই প্রসঙ্গে
Op.__call__রান করলে, এটি চেক করে যে সাবক্লাস_fusible_fwdওভাররাইড করে (না করলেNotImplementedErrorরেজ করে) এবংfuser_adapter.call_fusible_op-এ ডেলিগেট করে। call_fusible_opসমাধান করার সময় ফিউশন কনটেক্সট সাসপেন্ড করেbound_args.default_config, অ্যারে লিভের উপরfuser.fusibleপ্রিমিটিভ বাইন্ড করে,Op.fusible_argnames-এ তালিকাভুক্ত নয় এমন যেকোনও আর্গুমেন্ট মেটেরিয়ালাইজ করে এবংbound_args._tokamax_metadata(config)-এর মধ্যেOp._fusible_fwd(*args, out_fusions=out_fusions, config=config, **kwargs)ইনভোক করে।
ধাপ ১: আপনার Op-এ fusible_argnames ডিক্লেয়ার করুন এবং _fusible_fwd ওভাররাইড করুন
আপনার ব্যাকএন্ড Op সাবক্লাসে (সম্পূর্ণ রেফারেন্সের জন্য
PallasMosaicTpuV2RaggedDot
দেখুন):
- প্যারামিটারের নামে
fusible_argnamesসেট করুন যার অ্যারে লিভfuser.Fusionক্লোজার হিসেবে থাকবে। অন্যান্য সব অ্যারে আর্গুমেন্ট (যেমন মেটাডেটা, ইনডেক্স বাgroup_sizes)_fusible_fwdরান করার আগেcall_fusible_op-এর মাধ্যমে অটোমেটিক নিয়মিতjax.Array-এ মেটেরিয়ালাইজ করা হয়। _fusible_fwdওভাররাইড করুন।_fwd(যা(out, residuals)রিটার্ন করে) এর মতো নয়,_fusible_fwdসরাসরি আউটপুটTরিটার্ন করে এবংout_fusionsও সমাধান করাconfigগ্রহণ করে।- কম্পোজিট PyTree অপারেন্ডের জন্য যার লিভ ফিউজ করা উচিত নয় (যেমন,
প্রি-কোয়ান্টাইজড
QArray(qvalue, scale)ওয়েট),fuser_adapter.materialize(...)-এর সাথে স্পষ্টভাবে মেটেরিয়ালাইজ করুন।
from typing import ClassVar, override
import jax
from tokamax._src.ops import fuser_adapter
class MyPallasTpuOp(MyBaseOp[Config, None]):
config_cls: ClassVar[type[Config]] = Config
fusible_argnames: ClassVar[tuple[str, ...]] = ("lhs", "rhs")
@override
def _fusible_fwd(
self,
lhs: jax.Array | fuser_adapter.InputFusion,
rhs: jax.Array | fuser_adapter.InputFusion,
*,
out_fusions: fuser_adapter.OutputFusion | None = None,
config: Config,
**kwargs,
) -> jax.Array:
return my_kernel_fusible(
lhs, rhs, config=config, out_fusions=out_fusions, **kwargs
)
ধাপ ২: কম্প্যানিয়ন *_fuser.py মডিউলে Fuser ইন্টিগ্রেশন রাখুন
Tokamax-এর কোর কার্নেল (gmm_v2.py, tgmm_v2.py)
এবং এর ফিউজার ইন্টিগ্রেশনের (gmm_fuser.py) মধ্যে পার্থক্য অনুসরণ করুন:
jax.experimental.pallas.fuserইমপোর্ট কোর কার্নেল ফাইলের বাইরে রাখুন যাতে আনফিউজড কার্নেল স্বয়ংসম্পূর্ণ ও সহজে পড়ার উপযোগী থাকে।আপনার ফিউশন স্পেক তৈরি করার আগে ০-সমীকরণ ট্রিভিয়াল
fuser.Fusionক্লোজার আনর্যাপ করুন:def _unwrap_trivial_input_fusion(x): if isinstance(x, fuser.Fusion) and not jax.make_jaxpr(x)().jaxpr.eqns: return x() return xfuser.fusibleপ্রতিটি ইনপুট অ্যারে লিফকেFusion-এ র্যাপ করে, এমনকি যখন সেই অপারেন্ডের কোনও প্রোডিউসার অপারেশন থাকে না। তুচ্ছ ক্লোজার আনর্যাপ করলে, রানটাইম ওভারহেড ছাড়াই অপরিবর্তিত আনফিউজডBlockSpecপাথে অস্পর্শিত অপারেন্ড থাকে।আপনার বেস কার্নেল
@jax.jitদিয়ে সাজানো থাকলে, ফিউজিবল পাথেinspect.unwrap(base_kernel)কল করুন—@jax.jitfuser.Fusionআর্গুমেন্ট বাতিল করে।বেয়ার-কার্নেল কলারদেরও যদি সরাসরি
@fuser.fuse-এর মধ্যে আপনার ফিউজিবল এন্ট্রি পয়েন্ট ইনভোক করতে হয়, তাহলে বেয়ারjax.Arrayকল শনাক্ত করুন এবংfuser.fusibleঅটোমেটিক বাইন্ড করুন (gmm_fuser.gmm_v2_fusibleযেভাবে করে)।
ধাপ ৩: Fusion আনপ্যাক করুন এবং fuser_adapter-এর মাধ্যমে BlockSpec ট্রান্সফর্ম করুন
নিম্ন-স্তরের fuser API সরাসরি কল করার পরিবর্তে
tokamax._src.ops.fuser_adapter
-এ শেয়ার করা হেল্পার ব্যবহার করুন:
ইনপুট প্রোলগ আনপ্যাক করা:
lhs_fn, lhs_values, lhs_values_type = fuser_adapter.unpack_input_fusion(lhs)(fn, values, values_type)রিটার্ন করে যেখানেvaluesহল HBM-এর টাপল অ্যারে যা প্রোলোগের মাধ্যমে বন্ধ করা হয়েছে এবংvalues_typeসেগুলিরShapeDtypeStructহোল্ড করে।সিঙ্গেল-আউটপুট এপিলোগ আনপ্যাক করা:
out_fn, out_values, out_values_type, out_init = ( fuser_adapter.unpack_output_fusion(out_fusions, raw_out_type) )Pallas Fuser-এর ১-টাপল আউটপুট কনভেনশনকে একটি
ShapeDtypeStruct(out_init)-এ আনর্যাপ করে এবং মাল্টি-আউটপুট এপিলোগেNotImplementedErrorবাড়ায়।প্রোলগের মাধ্যমে ইনপুট
BlockSpecপিছনে নিয়ে যান:pulled_lhs_fn, lhs_val_specs = fuser_adapter.pull_input_spec( lhs_fn, lhs_spec, lhs_values_type, grid_len=grid_len, num_scalar_prefetch=0, )উপসংহারের মাধ্যমে আউটপুট
BlockSpecপুশ ও পুল করা:pulled_out_fn, out_fusion_input_specs, final_out_spec = ( fuser_adapter.push_pull_block_spec( out_fn, out_spec, out_values_type, raw_out_type, grid_len=grid_len, num_scalar_prefetch=0, ) )fuser_adapter.push_pull_block_specসাইজ-১ ব্রডকাস্টের (যেমনRMSNormএপিলোগ যা র'fuser.push_block_specট্রিপ করে) সাথে শেপ-প্রিজার্ভিং রিডাকশন ম্যানেজ করে, যাচাই করে যে পুল করা স্পেসিফিকেশন কার্নেলের লেখাout_spec-এর সাথে মিলছে, ১-টাপল রিটার্ন ভ্যালু আনর্যাপ করে এবং কাজ করে এমন JAX রিলিজ জুড়ে মানানসইতা বজায় রাখে।
ধাপ ৪: Pallas কার্নেলে ওয়্যার পুল্ড স্পেক ও কলব্যাক
- ক্যাপচার করা HBM ইনপুট এবং তার সাথে পুল করা
BlockSpecপাস করুন:- ফিউজড অপারেন্ডের (
lhs_val_specs-এর সাথে পেয়ার করা) জায়গায় ইনপুট প্রোলগvaluesরাইড। - আউটপুট এপিলোগ সাইড ইনপুট (
out_values, যেমন এপিলোগ বায়াস বা রেসিডুয়াল) শুধুমাত্র-পড়া যায় এমন HBM কার্নেল ইনপুট হিসেবে পাস করা হয় যাout_fusion_input_specs-এর সাথে পেয়ার করা থাকে যাতেpltpu.emit_pipelineVMEM-এ তাদের টাইল প্রিফেচ করে। আনফিউজ করা হলে, refs এবং specs (0 PyTree লিভস) উভয়ের জন্য একটি খালি টিউপল()পাস করুন।
- ফিউজড অপারেন্ডের (
- প্রতিটি ফিউশন মোডে আলাদা PyTree টাইপ ব্যবহার করুন:
pltpu.emit_pipelinejax.tree.map(..., in_specs, in_refs)ম্যাপ করে, তাই প্রতিটি ইনপুট রেফারেন্স কন্টেনার এবং এরin_specকন্টেনারকে অবশ্যই একই@jax.tree_util.register_dataclassPyTree টাইপ শেয়ার করতে হবে (যেমন, আনফিউজডlhs-এর জন্যLhsRef[T]বনাম প্রোলগ-ফিউজডlhs-এর জন্যFusedLhsRef[T])।
কার্নেল বডির মধ্যে VMEM টাইলসে পুল করা কলব্যাক মূল্যায়ন করুন:
- প্রতিটি পুল করা ফাংশনে সিগনেচার
fn(program_ids, scalar_prefetch, *args)আছে। pltpu.emit_pipeline(..., _explicit_indices=True)-এর মধ্যে,pids = step.index(অন্যথায়tuple(pl.program_id(i) for i in range(grid_len))) এবং()পাস করুন যখনnum_scalar_prefetch=0:
# Prologue: compute the input tile from prefetched VMEM refs. tiled_lhs = lhs_fn(pids, (), tuple(r[...] for r in lhs_val_refs)) # Epilogue: transform the accumulated output tile before storing. out_vals = tuple(r[...] for r in tiled_out_fusion_input_refs) out_tile = out_fn(pids, (), out_vals, acc_tile)- প্রতিটি পুল করা ফাংশনে সিগনেচার
সাধারণ সমস্যা
pl.BoundedSliceএবংreshape: Pallas Fuser-এর রিশেপ পুল রুলpl.BoundedSliceবাতিল করে। আপনার আনফিউজড কার্নেল যদিemit_pipeline-এর আগে 2D HBM ইনপুটকে 3D সাবলেন-টাইল্ড রেফারেন্সে রিশেপ করে, তাহলে ফিউজড অপারেন্ডের মাধ্যমে পুল বা পুশ করার আগে স্পেসিফিকেশনকে 2DBlockSpec((pl.BoundedSlice(tile_m), col_dim), ...)-এ কনভার্ট করুন (gmm_fuser.py-এ_to_2d_bounded_specদেখুন)।- রো মাস্কিং সহ এপিলোগ অর্ডার করা: আপনার কার্নেল যদি আউট-অফ-গ্রুপ বা
প্যাডিং রো শূন্যে মাস্ক করে এবং বিভিন্ন ধাপ জুড়ে আংশিক সাবলেন টাইল একত্রিত করে, তাহলে
out_fnশূন্য মাস্ক প্রয়োগ করার আগে চালান যাতে নন-জিরো এপিলোগ (যেমন+ bias) মাস্ক করা রোকে নষ্ট না করে। pl.kernel-এর সাথেSequenceout_type:pl.kernelএকটিtupleবাlistout_type-কে একাধিক পজিশনালout_refআর্গুমেন্টে আনপ্যাক করে।fuser_adapter.unpack_output_fusionব্যবহার করলে, সিঙ্গেল-আউটপুটout_init-কেShapeDtypeStructহিসেবে রাখে।- হোস্ট-সাইড প্যাডিং বনাম ফিউজড শেপ: যেহেতু Pallas Fuser-এর কোনও
lax.padনিয়ম বা আনঅ্যালাইনডlax.sliceপুশ/পুল নিয়ম নেই, তাই আপনার ফিউশন স্পেকেরprepare()পদ্ধতিতে অ্যালাইনমেন্ট সংক্রান্ত প্রয়োজনীয়তা আগেভাগে যাচাই করুন এবংFusionঅবজেক্ট প্যাড করার পরিবর্তে কাজ করে না এমন শেপের জন্যNotImplementedErrorরেইজ করুন। _fusible_fwd-এর মধ্যে থাকা হেল্পারOp:default_configরেজোলিউশন এবং_fusible_fwd-এর মধ্যেcall_fusible_opin_op_fusion_context()সাসপেন্ড করে, তাই_fusible_fwd-এর মধ্যে আনফিউজড হেল্পারOpকল করলে নেস্টেড ফিউশন সংক্রান্ত সমস্যা ট্রিগার না করেই এটি স্বাভাবিক_fwdপাথ রান করে।
টেস্টিং চেকলিস্ট
কোনও অপারেটরে ফিউশন সাপোর্ট যোগ করার সময়, এগুলি কভার করুন:
- প্রোলগ ফিউশন (পয়েন্টওয়াইজ ও ফুল-অ্যাক্সিস রিডাকশন, যেমন
RMSNorm), এপিলগ ফিউশন (বায়াস বা রেসিডুয়ালের মতো এক্সটার্নাল সাইড ইনপুট সহ ও ছাড়া) এবং কম্বাইন্ড প্রোলগ + এপিলগ। - ফিউশন-বিহীন সমতা: যাচাই করুন যে ফিউজেবল এন্ট্রি পয়েন্টে কল করলে
আশেপাশে কোনও অপারেশন (প্লেইন,
@op_fusion.fuseএবং@fuser.fuse) না থাকলে আনফিউজড কার্নেলের বিটওয়াইজ-আইডেন্টিক্যাল আউটপুট (chex.assert_trees_all_equal) তৈরি হয়। - স্পষ্ট
@jax.custom_vjpগ্রেডিয়েন্ট: ফরোয়ার্ড ভ্যালু যাচাই করুন এবং গ্রেডিয়েন্ট আনফিউজড রেফারেন্সের সাথে ম্যাচ করে। - কাজ করে না এমন কম্বিনেশন: সারিবদ্ধ নয় এমন আকার বা কাজ করে না এমন কার্নেল বিকল্পের জন্য
স্পষ্ট
NotImplementedErrorমেসেজ যাচাই করুন।
রেফারেন্স ইমপ্লিমেন্টেশন
- পাবলিক ফাসাদ:
tokamax/ops/op_fusion.py Opডিসপ্যাচ ও শেয়ার করা সাহায্যকারী:tokamax/_src/ops/fuser_adapter.py- কার্নেল ফিউজার ইন্টিগ্রেশন (
GmmFusionSpec/TgmmFusionSpec):tokamax/_src/ops/gmm_v2/gmm_fuser.py Op._fusible_fwdইন্টিগ্রেশন:tokamax/_src/ops/ragged_dot/pallas_mosaic_tpu_v2.py- কার্নেল ও
Opফিউশন টেস্ট:tokamax/_src/ops/gmm_v2/gmm_fuser_test.pyএবংtokamax/_src/ops/ragged_dot/pallas_mosaic_tpu_v2_test.py