Operator Fusion

tokamax.ops.op_fusion আপনাকে JAX Pallas Fuser-এর মাধ্যমে সরাসরি ফিউজ করা যায় এমন Tokamax Pallas TPU কার্নেলে আশেপাশের JAX অপারেশন (প্রোলগ ও এপিলগ) ফিউজ করতে দেয়। নর্মালাইজেশন বা অ্যাক্টিভেশন এবং কাস্টম কার্নেলের মধ্যে HBM-এ ইন্টারমিডিয়েট অ্যাক্টিভেশন মেটেরিয়ালাইজ করার পরিবর্তে, কার্নেল লুপের মধ্যে প্রতিটি টাইল VMEM-এ ফিউজড অপারেশন রান করে।

@op_fusion.fuse ব্যবহৃত হচ্ছে

প্রাথমিক ব্যবহার (প্রোলগ ও এপিলগ)

tokamax.ops থেকে op_fusion ইমপোর্ট করুন এবং @op_fusion.fuse (সাধারণত @jax.jit-এর মধ্যে) সহ ফিউজেবল Tokamax অপারেটর আছে এমন ফাংশন র‍্যাপ করুন:

import jax
import jax.numpy as jnp
import tokamax
from tokamax.ops import op_fusion


def rms_norm(x: jax.Array, weight: jax.Array, eps: float = 1e-6) -> jax.Array:
  ms = jnp.mean(jnp.square(x.astype(jnp.float32)), axis=-1, keepdims=True)
  return (x.astype(jnp.float32) * jax.lax.rsqrt(ms + eps)).astype(
      x.dtype
  ) * weight


@jax.jit
@op_fusion.fuse
def fused_ragged_dot(x, rms_weight, rhs, out_bias, group_sizes):
  # Prologue: fused into the kernel's LHS tile load.
  x_norm = rms_norm(x, rms_weight)
  out = tokamax.ragged_dot(
      x_norm,
      rhs,
      group_sizes=group_sizes,
      implementation="mosaic_tpu_v2",
  )
  # Epilogue: fused into the kernel's output store.
  return jax.nn.silu(out + out_bias)

আপনি স্পষ্ট ফিউজিবল ইমপ্লিমেন্টেশন (tokamax.ragged_dot(..., implementation="mosaic_tpu_v2")) সহ হাই-লেভেল ফাংশনাল API অথবা সরাসরি নির্দিষ্ট tokamax.Op ইনস্ট্যান্স (যেমন PallasMosaicTpuV2RaggedDot) কল করতে পারেন। @op_fusion.fuse-এর মধ্যে কোনও অপারেটর ফিউশন সাপোর্ট না করলে, Tokamax NotImplementedError দেখায়।

ডেকোরেটর বিকল্প

op_fusion.fuse এর কীওয়ার্ড আর্গুমেন্টগুলি jax.experimental.pallas.fuser.fuse-এ ফরওয়ার্ড করে:

@op_fusion.fuse(
    resolve_fusion_dtypes=True,
    debug=False,
    strict_mode=True,
    static_argnums=None,
    static_argnames=None,
)
  • static_argnums / static_argnames: ফিউজড ফাংশন কল করার সময় নন-অ্যারে Python আর্গুমেন্ট (যেমন, স্কেলার কনফিগারেশন ভ্যালু বা বুলিয়ান ফ্ল্যাগ) স্ট্যাটিক হিসেবে চিহ্নিত করুন।
  • debug=True: ট্রেস করা ফিউশন jaxprs প্রিন্ট করে যাতে কোনও op কেন ফিউজ হয়নি বা ব্লক-স্পেক প্রোপাগেশন কেন ব্যর্থ হয়েছে তা ডায়াগনসিস করতে সাহায্য করে।
  • strict_mode: Pallas Fuser-এর কঠোর ব্লক-স্পেক সমতুল্য চেক নিয়ন্ত্রণ করে।

কোয়ান্টাইজড ইনপুট ও বিল্ট-ইন কার্নেল অ্যাক্টিভেশন

ফিউজড প্রোলগ অন-দ্য-ফ্লাই অ্যাক্টিভেশন কোয়ান্টাইজেশন (AsQArray), প্রি-কোয়ান্টাইজড ওয়েট (qwix.QArray) এবং PallasMosaicTpuV2RaggedDot-এ বিল্ট-ইন ফিউজড গেট/আপ অ্যাক্টিভেশনের সাথে কম্পোজ করে:

import jax
import jax.numpy as jnp
import qwix
from tokamax._src import quantization
from tokamax._src.ops.ragged_dot import pallas_mosaic_tpu_v2
from tokamax.ops import op_fusion

gmm_op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot()


@op_fusion.fuse
def fused_rms_norm_gate_up(x, rms_weight, w_q, w_scale, group_sizes):
  x_norm = rms_norm(x, rms_weight)
  return gmm_op(
      quantization.AsQArray(x_norm, jnp.float8_e4m3fn),
      qwix.QArray(w_q, w_scale),
      group_sizes=group_sizes,
      zero_initialize=False,
      fuse_gateup_activation="silu",
      preferred_element_type=jnp.bfloat16,
  )

@op_fusion.fuse ব্লকে একটি Fusible Op

JAX Pallas Fuser প্রতিটি @op_fusion.fuse স্কোপে একটি ফিউজেবল কার্নেল সাপোর্ট করে। একাধিক কার্নেল চেইন করার সময় (যেমন, MoE ব্লকে gate_up-এর পরে down), প্রতিটি ফিউজিবল স্টেজকে বাইরের @jax.jit-এর মধ্যে নিজস্ব @op_fusion.fuse ফাংশনে র‍্যাপ করুন:

@jax.jit
def moe_layer(x, rms_weight, w1_q, w1_scale, w2_q, w2_scale, group_sizes):
  mid = fused_rms_norm_gate_up(x, rms_weight, w1_q, w1_scale, group_sizes)
  return gmm_op(
      quantization.AsQArray(mid, jnp.float8_e4m3fn),
      qwix.QArray(w2_q, w2_scale),
      group_sizes=group_sizes,
      zero_initialize=False,
      preferred_element_type=jnp.bfloat16,
  )

স্পষ্ট @jax.custom_vjp সহ অটোমেটিক ডিফারেন্সিয়েশন

@op_fusion.fuse ফরোয়ার্ড কম্পিউটেশন ব্লক ফিউজ করে এবং jax.grad-এর মাধ্যমে ফিউজড ব্যাকওয়ার্ড পাস অটোমেটিক সিন্থেসাইজ করে না। ফিউজড ব্লক ডিফারেনশিয়েট করার সময়, ফরওয়ার্ড ও ব্যাকওয়ার্ড কলকে একটি এক্সপ্লিসিট @jax.custom_vjp-এ র‍্যাপ করুন যাতে আপনি ফরওয়ার্ড ও ব্যাকওয়ার্ড (drhs / dlhs) কার্নেলে প্রোলগ/এপিলগ স্বাধীনভাবে ফিউজ করতে পারেন:

import jax
from tokamax._src.ops.ragged_dot import pallas_mosaic_tpu_v2
from tokamax.ops import op_fusion

op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot()
drhs_op = pallas_mosaic_tpu_v2.PallasMosaicTpuV2RaggedDot(
    num_actual_groups=num_groups
)


@op_fusion.fuse
def fused_fwd_kernel(x, w, r, group_sizes):
  return op(rms_norm(x, w), r, group_sizes=group_sizes, zero_initialize=True)


@op_fusion.fuse
def fused_drhs_kernel(x, w, dy, group_sizes):
  return drhs_op(
      rms_norm(x, w),
      dy,
      group_sizes=group_sizes,
      ragged_dot_dimension_numbers=pallas_mosaic_tpu_v2.DRHS_RAGGED_DOT_DIM_NUMS,
      preferred_element_type=dy.dtype,
  )


@jax.custom_vjp
def fused_gmm(x, w, r, group_sizes):
  return fused_fwd_kernel(x, w, r, group_sizes)


def fused_gmm_fwd(x, w, r, group_sizes):
  return fused_fwd_kernel(x, w, r, group_sizes), (x, w, r, group_sizes)


def fused_gmm_bwd(residuals, dy):
  x, w, r, group_sizes = residuals
  dr = fused_drhs_kernel(x, w, dy, group_sizes)
  dx_norm = op(
      dy,
      r,
      group_sizes=group_sizes,
      ragged_dot_dimension_numbers=pallas_mosaic_tpu_v2.DLHS_RAGGED_DOT_DIM_NUMS,
      zero_initialize=True,
  )
  _, rms_vjp = jax.vjp(rms_norm, x, w)
  dx, dw = rms_vjp(dx_norm)
  return dx, dw, dr, None


fused_gmm.defvjp(fused_gmm_fwd, fused_gmm_bwd)

বেয়ার ফিউজিবল কার্নেল ব্যবহার করা

ব্যাকওয়ার্ড কম্প্যাটিবিলিটি বজায় রাখতে এবং ইনপুট ক্যানোনিকালাইজেশন, অটোটিউনিং ও মেটাডেটা সিরিয়ালাইজেশন ধরে রাখতে, বেয়ার ফিউজিবল কার্নেল ও @jax.experimental.pallas.fuser.fuse-এর পরিবর্তে Tokamax অপারেটর র‍্যাপার (tokamax.ragged_dot বা PallasMosaicTpuV2RaggedDot) সহ @op_fusion.fuse ব্যবহার করুন। আপনি যদি সরাসরি লো-লেভেল gmm_v2 / tgmm_v2 কার্নেল ইনভোক করেন, তাহলে @op_fusion.fuse বা @jax.experimental.pallas.fuser.fuse-এর মধ্যে gmm_fuser.gmm_v2_fusible বা gmm_fuser.tgmm_v2_fusible ব্যবহার করুন:

from jax.experimental.pallas import fuser
from tokamax._src.ops.gmm_v2 import gmm_fuser


@jax.jit
@fuser.fuse
def fused_bare_gmm(x, w, rhs, out_bias, group_sizes):
  out = gmm_fuser.gmm_v2_fusible(rms_norm(x, w), rhs, group_sizes)
  return jax.nn.silu(out + out_bias)

gmm_v2_fusible / tgmm_v2_fusible-এর চারপাশে কোনও প্রস্তাবনা বা উপসংহার অপ না থাকলে, তুচ্ছ 0-সমীকরণ ফিউশন আনর‍্যাপ করা হয় যাতে কম্পাইল করা কার্নেল সঠিক আনফিউজড পাথ নেয়।

সমর্থিত অপারেশন এবং সীমাবদ্ধতা

  • বর্তমানে কাজ করে এমন Tokamax ops: PallasMosaicTpuV2RaggedDot (implementation="mosaic_tpu_v2", forward/dlhs gmm_v2 এবং drhs tgmm_v2 দুটিই কভার করে)।
  • প্রোলগ / এপিলগ JAX প্রিমিটিভ কাজ করে: JAX Pallas Fuser দ্বারা পরিচালিত। সাধারণত কাজ করে এমন ops-এর মধ্যে রয়েছে পয়েন্টওয়াইজ ইউনারি/বাইনারি ম্যাথ, select/clamp, dtype কাস্ট, broadcast_in_dim, transpose, concatenate/stack/split এবং সম্পূর্ণ ব্লক অ্যাক্সিস জুড়ে reduce_sum (যেমন RMSNorm)। ফিউজার ব্লক-স্পেক নিয়ম ছাড়া ops—যেমন lax.pad, কন্ট্রোল ফ্লো (scan/while/cond) এবং reduce_max/reduce_min—ফিউজ করা যাবে না।
  • PallasMosaicTpuV2RaggedDot ফিউশন কনস্ট্রেন্ট:
    • size_m অবশ্যই TPU সাবলেন টাইলিংয়ের (size_lhs_sublane) সাথে অ্যালাইন করতে হবে যখন lhs বা out, gmm_v2-এ ফিউজ করা হয় (এবং যখন lhs বা rhs, tgmm_v2-এ ফিউজ করা হয়)।
    • out ফিউজ করা হলে, out_size_n (এবং tgmm_v2-এর জন্য size_k) অবশ্যই num_lanes (১২৮) / টাইল সাইজের সাথে অ্যালাইন করতে হবে এবং শুধুমাত্র সিঙ্গেল-আউটপুট এপিলগ কাজ করে।
    • ফিউশনের সাথে partial_sum কাজ করে না।
    • gmm_v2-এ ফিউজ করা rhs, fuse_act বা সাব-বাইট প্যাক করা ওয়েটের সাথে কাজ করে না।

ফিউশন-মানানসই কার্নেল ও Op তৈরি করা

আর্কিটেকচার ওভারভিউ

Fusion ডিসপ্যাচ পাবলিক ফ্যাকাড, ইন্টার্নাল অ্যাডাপ্টার, Op ক্লাস এবং কার্নেলের কম্প্যানিয়ন ফিউজার মডিউলের মধ্যে বিভক্ত:

  1. tokamax/ops/op_fusion.py পাবলিক এন্ট্রি পয়েন্ট হিসেবে fuse আবার এক্সপোর্ট করে।
  2. tokamax._src.ops.fuser_adapter jax.experimental.pallas.fuser.fuse-এর চারপাশে JAX ব্যবহারকারীর প্রসঙ্গ ফ্ল্যাগ (in_op_fusion_context()) সেট করে।
  3. সেই প্রসঙ্গে Op.__call__ রান করলে, এটি চেক করে যে সাবক্লাস _fusible_fwd ওভাররাইড করে (না করলে NotImplementedError রেজ করে) এবং fuser_adapter.call_fusible_op-এ ডেলিগেট করে।
  4. call_fusible_op সমাধান করার সময় ফিউশন কনটেক্সট সাসপেন্ড করে bound_args.default_config, অ্যারে লিভের উপর fuser.fusible প্রিমিটিভ বাইন্ড করে, Op.fusible_argnames-এ তালিকাভুক্ত নয় এমন যেকোনও আর্গুমেন্ট মেটেরিয়ালাইজ করে এবং bound_args._tokamax_metadata(config)-এর মধ্যে Op._fusible_fwd(*args, out_fusions=out_fusions, config=config, **kwargs) ইনভোক করে।

ধাপ ১: আপনার Op-এ fusible_argnames ডিক্লেয়ার করুন এবং _fusible_fwd ওভাররাইড করুন

আপনার ব্যাকএন্ড Op সাবক্লাসে (সম্পূর্ণ রেফারেন্সের জন্য PallasMosaicTpuV2RaggedDot দেখুন):

  1. প্যারামিটারের নামে fusible_argnames সেট করুন যার অ্যারে লিভ fuser.Fusion ক্লোজার হিসেবে থাকবে। অন্যান্য সব অ্যারে আর্গুমেন্ট (যেমন মেটাডেটা, ইনডেক্স বা group_sizes) _fusible_fwd রান করার আগে call_fusible_op-এর মাধ্যমে অটোমেটিক নিয়মিত jax.Array-এ মেটেরিয়ালাইজ করা হয়।
  2. _fusible_fwd ওভাররাইড করুন। _fwd (যা (out, residuals) রিটার্ন করে) এর মতো নয়, _fusible_fwd সরাসরি আউটপুট T রিটার্ন করে এবং out_fusions ও সমাধান করা config গ্রহণ করে।
  3. কম্পোজিট PyTree অপারেন্ডের জন্য যার লিভ ফিউজ করা উচিত নয় (যেমন, প্রি-কোয়ান্টাইজড QArray(qvalue, scale) ওয়েট), fuser_adapter.materialize(...)-এর সাথে স্পষ্টভাবে মেটেরিয়ালাইজ করুন।
from typing import ClassVar, override
import jax
from tokamax._src.ops import fuser_adapter


class MyPallasTpuOp(MyBaseOp[Config, None]):
  config_cls: ClassVar[type[Config]] = Config
  fusible_argnames: ClassVar[tuple[str, ...]] = ("lhs", "rhs")

  @override
  def _fusible_fwd(
      self,
      lhs: jax.Array | fuser_adapter.InputFusion,
      rhs: jax.Array | fuser_adapter.InputFusion,
      *,
      out_fusions: fuser_adapter.OutputFusion | None = None,
      config: Config,
      **kwargs,
  ) -> jax.Array:
    return my_kernel_fusible(
        lhs, rhs, config=config, out_fusions=out_fusions, **kwargs
    )

ধাপ ২: কম্প্যানিয়ন *_fuser.py মডিউলে Fuser ইন্টিগ্রেশন রাখুন

Tokamax-এর কোর কার্নেল (gmm_v2.py, tgmm_v2.py) এবং এর ফিউজার ইন্টিগ্রেশনের (gmm_fuser.py) মধ্যে পার্থক্য অনুসরণ করুন:

  • jax.experimental.pallas.fuser ইমপোর্ট কোর কার্নেল ফাইলের বাইরে রাখুন যাতে আনফিউজড কার্নেল স্বয়ংসম্পূর্ণ ও সহজে পড়ার উপযোগী থাকে।
  • আপনার ফিউশন স্পেক তৈরি করার আগে ০-সমীকরণ ট্রিভিয়াল fuser.Fusion ক্লোজার আনর‍্যাপ করুন:

    def _unwrap_trivial_input_fusion(x):
      if isinstance(x, fuser.Fusion) and not jax.make_jaxpr(x)().jaxpr.eqns:
        return x()
      return x
    

    fuser.fusible প্রতিটি ইনপুট অ্যারে লিফকে Fusion-এ র‍্যাপ করে, এমনকি যখন সেই অপারেন্ডের কোনও প্রোডিউসার অপারেশন থাকে না। তুচ্ছ ক্লোজার আনর‍্যাপ করলে, রানটাইম ওভারহেড ছাড়াই অপরিবর্তিত আনফিউজড BlockSpec পাথে অস্পর্শিত অপারেন্ড থাকে।

  • আপনার বেস কার্নেল @jax.jit দিয়ে সাজানো থাকলে, ফিউজিবল পাথে inspect.unwrap(base_kernel) কল করুন—@jax.jit fuser.Fusion আর্গুমেন্ট বাতিল করে।

  • বেয়ার-কার্নেল কলারদেরও যদি সরাসরি @fuser.fuse-এর মধ্যে আপনার ফিউজিবল এন্ট্রি পয়েন্ট ইনভোক করতে হয়, তাহলে বেয়ার jax.Array কল শনাক্ত করুন এবং fuser.fusible অটোমেটিক বাইন্ড করুন (gmm_fuser.gmm_v2_fusible যেভাবে করে)।

ধাপ ৩: Fusion আনপ্যাক করুন এবং fuser_adapter-এর মাধ্যমে BlockSpec ট্রান্সফর্ম করুন

নিম্ন-স্তরের fuser API সরাসরি কল করার পরিবর্তে tokamax._src.ops.fuser_adapter -এ শেয়ার করা হেল্পার ব্যবহার করুন:

  • ইনপুট প্রোলগ আনপ্যাক করা:

    lhs_fn, lhs_values, lhs_values_type = fuser_adapter.unpack_input_fusion(lhs)
    

    (fn, values, values_type) রিটার্ন করে যেখানে values হল HBM-এর টাপল অ্যারে যা প্রোলোগের মাধ্যমে বন্ধ করা হয়েছে এবং values_type সেগুলির ShapeDtypeStruct হোল্ড করে।

  • সিঙ্গেল-আউটপুট এপিলোগ আনপ্যাক করা:

    out_fn, out_values, out_values_type, out_init = (
        fuser_adapter.unpack_output_fusion(out_fusions, raw_out_type)
    )
    

    Pallas Fuser-এর ১-টাপল আউটপুট কনভেনশনকে একটি ShapeDtypeStruct (out_init)-এ আনর‍্যাপ করে এবং মাল্টি-আউটপুট এপিলোগে NotImplementedError বাড়ায়।

  • প্রোলগের মাধ্যমে ইনপুট BlockSpec পিছনে নিয়ে যান:

    pulled_lhs_fn, lhs_val_specs = fuser_adapter.pull_input_spec(
        lhs_fn,
        lhs_spec,
        lhs_values_type,
        grid_len=grid_len,
        num_scalar_prefetch=0,
    )
    
  • উপসংহারের মাধ্যমে আউটপুট BlockSpec পুশ ও পুল করা:

    pulled_out_fn, out_fusion_input_specs, final_out_spec = (
        fuser_adapter.push_pull_block_spec(
            out_fn,
            out_spec,
            out_values_type,
            raw_out_type,
            grid_len=grid_len,
            num_scalar_prefetch=0,
        )
    )
    

    fuser_adapter.push_pull_block_spec সাইজ-১ ব্রডকাস্টের (যেমন RMSNorm এপিলোগ যা র' fuser.push_block_spec ট্রিপ করে) সাথে শেপ-প্রিজার্ভিং রিডাকশন ম্যানেজ করে, যাচাই করে যে পুল করা স্পেসিফিকেশন কার্নেলের লেখা out_spec-এর সাথে মিলছে, ১-টাপল রিটার্ন ভ্যালু আনর‍্যাপ করে এবং কাজ করে এমন JAX রিলিজ জুড়ে মানানসইতা বজায় রাখে।

ধাপ ৪: Pallas কার্নেলে ওয়্যার পুল্ড স্পেক ও কলব্যাক

  1. ক্যাপচার করা HBM ইনপুট এবং তার সাথে পুল করা BlockSpec পাস করুন:
    • ফিউজড অপারেন্ডের (lhs_val_specs-এর সাথে পেয়ার করা) জায়গায় ইনপুট প্রোলগ values রাইড।
    • আউটপুট এপিলোগ সাইড ইনপুট (out_values, যেমন এপিলোগ বায়াস বা রেসিডুয়াল) শুধুমাত্র-পড়া যায় এমন HBM কার্নেল ইনপুট হিসেবে পাস করা হয় যা out_fusion_input_specs-এর সাথে পেয়ার করা থাকে যাতে pltpu.emit_pipeline VMEM-এ তাদের টাইল প্রিফেচ করে। আনফিউজ করা হলে, refs এবং specs (0 PyTree লিভস) উভয়ের জন্য একটি খালি টিউপল () পাস করুন।
  2. প্রতিটি ফিউশন মোডে আলাদা PyTree টাইপ ব্যবহার করুন:
    • pltpu.emit_pipeline jax.tree.map(..., in_specs, in_refs) ম্যাপ করে, তাই প্রতিটি ইনপুট রেফারেন্স কন্টেনার এবং এর in_spec কন্টেনারকে অবশ্যই একই @jax.tree_util.register_dataclass PyTree টাইপ শেয়ার করতে হবে (যেমন, আনফিউজড lhs-এর জন্য LhsRef[T] বনাম প্রোলগ-ফিউজড lhs-এর জন্য FusedLhsRef[T])।
  3. কার্নেল বডির মধ্যে VMEM টাইলসে পুল করা কলব্যাক মূল্যায়ন করুন:

    • প্রতিটি পুল করা ফাংশনে সিগনেচার fn(program_ids, scalar_prefetch, *args) আছে।
    • pltpu.emit_pipeline(..., _explicit_indices=True)-এর মধ্যে, pids = step.index (অন্যথায় tuple(pl.program_id(i) for i in range(grid_len))) এবং () পাস করুন যখন num_scalar_prefetch=0:
    # Prologue: compute the input tile from prefetched VMEM refs.
    tiled_lhs = lhs_fn(pids, (), tuple(r[...] for r in lhs_val_refs))
    
    # Epilogue: transform the accumulated output tile before storing.
    out_vals = tuple(r[...] for r in tiled_out_fusion_input_refs)
    out_tile = out_fn(pids, (), out_vals, acc_tile)
    

সাধারণ সমস্যা

  • pl.BoundedSlice এবং reshape: Pallas Fuser-এর রিশেপ পুল রুল pl.BoundedSlice বাতিল করে। আপনার আনফিউজড কার্নেল যদি emit_pipeline-এর আগে 2D HBM ইনপুটকে 3D সাবলেন-টাইল্ড রেফারেন্সে রিশেপ করে, তাহলে ফিউজড অপারেন্ডের মাধ্যমে পুল বা পুশ করার আগে স্পেসিফিকেশনকে 2D BlockSpec((pl.BoundedSlice(tile_m), col_dim), ...)-এ কনভার্ট করুন (gmm_fuser.py-এ _to_2d_bounded_spec দেখুন)।
  • রো মাস্কিং সহ এপিলোগ অর্ডার করা: আপনার কার্নেল যদি আউট-অফ-গ্রুপ বা প্যাডিং রো শূন্যে মাস্ক করে এবং বিভিন্ন ধাপ জুড়ে আংশিক সাবলেন টাইল একত্রিত করে, তাহলে out_fn শূন্য মাস্ক প্রয়োগ করার আগে চালান যাতে নন-জিরো এপিলোগ (যেমন + bias) মাস্ক করা রোকে নষ্ট না করে।
  • pl.kernel-এর সাথে Sequence out_type: pl.kernel একটি tuple বা list out_type-কে একাধিক পজিশনাল out_ref আর্গুমেন্টে আনপ্যাক করে। fuser_adapter.unpack_output_fusion ব্যবহার করলে, সিঙ্গেল-আউটপুট out_init-কে ShapeDtypeStruct হিসেবে রাখে।
  • হোস্ট-সাইড প্যাডিং বনাম ফিউজড শেপ: যেহেতু Pallas Fuser-এর কোনও lax.pad নিয়ম বা আনঅ্যালাইনড lax.slice পুশ/পুল নিয়ম নেই, তাই আপনার ফিউশন স্পেকের prepare() পদ্ধতিতে অ্যালাইনমেন্ট সংক্রান্ত প্রয়োজনীয়তা আগেভাগে যাচাই করুন এবং Fusion অবজেক্ট প্যাড করার পরিবর্তে কাজ করে না এমন শেপের জন্য NotImplementedError রেইজ করুন।
  • _fusible_fwd-এর মধ্যে থাকা হেল্পার Op: default_config রেজোলিউশন এবং _fusible_fwd-এর মধ্যে call_fusible_op in_op_fusion_context() সাসপেন্ড করে, তাই _fusible_fwd-এর মধ্যে আনফিউজড হেল্পার Op কল করলে নেস্টেড ফিউশন সংক্রান্ত সমস্যা ট্রিগার না করেই এটি স্বাভাবিক _fwd পাথ রান করে।

টেস্টিং চেকলিস্ট

কোনও অপারেটরে ফিউশন সাপোর্ট যোগ করার সময়, এগুলি কভার করুন:

  1. প্রোলগ ফিউশন (পয়েন্টওয়াইজ ও ফুল-অ্যাক্সিস রিডাকশন, যেমন RMSNorm), এপিলগ ফিউশন (বায়াস বা রেসিডুয়ালের মতো এক্সটার্নাল সাইড ইনপুট সহ ও ছাড়া) এবং কম্বাইন্ড প্রোলগ + এপিলগ।
  2. ফিউশন-বিহীন সমতা: যাচাই করুন যে ফিউজেবল এন্ট্রি পয়েন্টে কল করলে আশেপাশে কোনও অপারেশন (প্লেইন, @op_fusion.fuse এবং @fuser.fuse) না থাকলে আনফিউজড কার্নেলের বিটওয়াইজ-আইডেন্টিক্যাল আউটপুট (chex.assert_trees_all_equal) তৈরি হয়।
  3. স্পষ্ট @jax.custom_vjp গ্রেডিয়েন্ট: ফরোয়ার্ড ভ্যালু যাচাই করুন এবং গ্রেডিয়েন্ট আনফিউজড রেফারেন্সের সাথে ম্যাচ করে।
  4. কাজ করে না এমন কম্বিনেশন: সারিবদ্ধ নয় এমন আকার বা কাজ করে না এমন কার্নেল বিকল্পের জন্য স্পষ্ট NotImplementedError মেসেজ যাচাই করুন।

রেফারেন্স ইমপ্লিমেন্টেশন