การใช้เครื่องมือ XLA

เวิร์กโฟลว์การพัฒนา XLA มักจะอยู่ตรงกลาง HLO IR ซึ่งแสดงการทำงานที่แยกต่างหาก การประมวลผลที่ให้กับคอมไพเลอร์ XLA มาพร้อมกับเครื่องมือบรรทัดคำสั่งหลายรายการ (อธิบายไว้ด้านล่าง) ซึ่งใช้ HLO และเรียกใช้ หรือให้ ขั้นการคอมไพล์ระดับกลาง การใช้เครื่องมือดังกล่าว ไม่มีประโยชน์สำหรับ compile->modify->run รอบการทำงานซ้ำ เนื่องจาก HLO มีทั้งความสามารถในการแสดงภาพและ สามารถแฮ็กได้ การเปลี่ยนและดำเนินการซ้ำๆ มักเป็นวิธีที่เร็วที่สุดในการ เข้าใจและแก้ไขประสิทธิภาพหรือลักษณะการทำงานของ XLA

วิธีที่ง่ายที่สุดในการได้รับ HLO สำหรับโปรแกรมที่คอมไพล์ด้วย XLA คือ โดยปกติแล้วจะใช้ตัวแปรสภาพแวดล้อม XLA_FLAGS ดังนี้

$ XLA_FLAGS=--xla_dump_to=/tmp/myfolder ./myprogram-entry-point

ซึ่งจัดเก็บไฟล์ HLO ก่อนการเพิ่มประสิทธิภาพทั้งหมดไว้ในโฟลเดอร์ที่ระบุ พร้อมกับอาร์ติแฟกต์ที่มีประโยชน์อื่นๆ อีกมากมาย

กำลังเรียกใช้ข้อมูลโค้ด HLO: run_hlo_module

เครื่องมือ run_hlo_module ทำงานกับ HLO สำหรับการเพิ่มประสิทธิภาพล่วงหน้าและโดยค่าเริ่มต้น การคอมไพล์ไฟล์ การเรียกใช้และการเปรียบเทียบกับล่ามอ้างอิง การใช้งานของคุณ เช่น การเรียกใช้ปกติเพื่อเรียกใช้ไฟล์อินพุต computation.hlo ใน GPU ของ NVIDIA และตรวจสอบความถูกต้องมีดังนี้

$ run_hlo_module --platform=CUDA --reference_platform=Interpreter computation.hlo

คุณใช้ --help เพื่อดูรายการตัวเลือกทั้งหมดได้เช่นเดียวกับเครื่องมืออื่นๆ

การเรียกใช้ข้อมูลโค้ด HLO ด้วยการรองรับ SPMD: multihost_hlo_runner

เครื่องมือเรียกใช้ HLO แบบมัลติโฮสต์เป็นเครื่องมือที่คล้ายกันมาก แต่มีข้อจำกัดว่ารองรับ SPMD รวมถึงการสื่อสารระหว่างโฮสต์ โปรดดู ผู้เรียกใช้ HLO แบบหลายโฮสต์เพื่อดูรายละเอียด

การเล่นซ้ำหลาย HLO

รองรับการเรียกใช้ที่มีหลายโมดูลสำหรับทั้ง run_hlo_module และ hlo_runner_main ซึ่งมักสะดวกในการเล่นโมดูลทั้งหมดซ้ำในดัมพ์ ไดเรกทอรี:

$ hlo_runner_main /dump/*before_optimizations*

การขว้างบอล/ขั้นตอนการรวบรวม HLO: hlo-opt

การแก้ไขข้อบกพร่องหรือทำความเข้าใจการทำงานของคอมไพเลอร์ เพื่อรับการขยายสำหรับฮาร์ดแวร์เฉพาะ ณ จุดใดจุดหนึ่งใน ไปป์ไลน์ (ไม่ว่าจะเป็น HLO, HLO ที่มีการเพิ่มประสิทธิภาพ, TritonIR หรือ LLVM) สำหรับ HLO หนึ่งๆ (เสถียร) อินพุต

hlo-opt รองรับขั้นตอนเอาต์พุตหลายแบบ ไม่ว่าจะเป็น PTX, HLO หลังจากการเพิ่มประสิทธิภาพ LLVM IR ก่อนการเพิ่มประสิทธิภาพ หรือ TritonIR ชุดขั้นตอนที่แน่นอนที่รองรับ ขึ้นอยู่กับแพลตฟอร์ม (เช่น PTX เป็นของ NVIDIA โดยเฉพาะ) และมองเห็นได้โดยใช้ คำสั่ง --list-stages

$ hlo-opt --platform=CUDA --list-stages
hlo
llvm
ptx

หลังจากเลือกขั้นตอน ผู้ใช้สามารถเขียนผลลัพธ์ของ Conversion สำหรับ แพลตฟอร์มของสตรีมหนึ่งๆ:

$ hlo-opt myinput.hlo --platform=CUDA --stage=llvm

ซึ่งจะพิมพ์ไฟล์ Dump ไปยัง stdout (หรือไปยังไฟล์ที่ระบุหากระบุ -o)

การใช้งานแบบไม่มีอุปกรณ์

การคอมไพล์ส่วนใหญ่ไม่จำเป็นต้องมีการเข้าถึง GPU และการระบุ ข้อมูลจำเพาะของ GPU ในบรรทัดคำสั่งที่เราสามารถรับได้ เช่น เอาต์พุต PTX โดยไม่มีสิทธิ์เข้าถึง Accelerator:

$ hlo-opt  --platform=CUDA --stage=llvm  --xla_gpu_target_config_filename=(pwd)/tools/data/gpu_specs/a100_pcie_80.txtpb input.hlo

ข้อมูลจำเพาะของ GPU ยอดนิยมจัดส่งพร้อมกับคอมไพเลอร์และไฟล์ที่ให้ไว้คือ การเรียงลำดับสตริง device_description.proto:

gpu_device_info {
  cuda_compute_capability {
    major: 8
    minor: 0
  }
  threads_per_block_limit: 1024
  threads_per_warp: 32
  shared_memory_per_block: 127152
  shared_memory_per_core: 65536
  threads_per_core_limit: 2048
  core_count: 6192
  fpus_per_core: 64
  block_dim_limit_x: 2147483647
  block_dim_limit_y: 65535
  block_dim_limit_z: 65535
  memory_bandwidth: 2039000000000
  l2_cache_size: 4194304
  clock_rate_ghz: 1.1105
  device_memory_size: 79050250240
}
platform_name: "CUDA"

การคอมไพล์แบบไม่ใช้อุปกรณ์อาจมีปัญหาหากจำเป็นต้องปรับแต่งอัตโนมัติ โชคดี เรายังสามารถกำหนด URL เหล่านั้นในบรรทัดคำสั่งได้อีกด้วย เช่น

$ hlo-opt  --platform=CUDA --stage=llvm  --xla_gpu_target_config_filename=gpu_specs/a100_pcie_80.txtpb --xla_gpu_load_autotune_results_from=results.textpb input.hlo

ไฟล์การปรับแต่งอัตโนมัติคือการเรียงลำดับข้อความ autotune_results.proto ด้วย ตัวอย่าง เช่น

version: 3
results {
  device: "CUDA: 8.0, Cores: 108, GPU clock: 1.41 GHz, Memory bandwidth: 1555 GB/s, L2 cache: 40 MB"
  hlo: "{\n  tmp_0 = f16[1,16,17,3]{3,2,1,0} parameter(0)\n  tmp_1 = f16[16,51]{1,0} bitcast(f16[1,16,17,3]{3,2,1,0} tmp_0)\n  tmp_2 = s8[16,17,3]{2,1,0} parameter(1)\n  tmp_3 = s8[51,16]{0,1} bitcast(s8[16,17,3]{2,1,0} tmp_2)\n  tmp_4 = f16[51,16]{0,1} convert(s8[51,16]{0,1} tmp_3)\n  tmp_5 = f16[16,16]{1,0} dot(f16[16,51]{1,0} tmp_1, f16[51,16]{0,1} tmp_4), lhs_contracting_dims={1}, rhs_contracting_dims={0}\n  ROOT tmp_6 = f16[1,16,16]{2,1,0} bitcast(f16[16,16]{1,0} tmp_5)\n}"
  result {
    run_time {
      nanos: 31744
    }
    triton {
      block_m: 32
      block_n: 32
      block_k: 32
      split_k: 1
      num_stages: 1
      num_warps: 4
    }
  }
}

ฐานข้อมูลการปรับแต่งอัตโนมัติสามารถทำให้เป็นอนุกรมได้โดยใช้ XLA_FLAGS=--xla_gpu_dump_autotune_results_t=<myfile.pbtxt>

การเรียกใช้บัตรผ่านคอมไพเลอร์รายการเดียว

ระบบยังรองรับแฟล็กจาก XLA_FLAGS ด้วย เครื่องมือนี้จึงใช้ทดสอบได้ การใช้บัตรผ่านเดียว

$ hlo-opt --platform=CUDA --stage=hlo --xla-hlo-enable-passes-only=algebraic_simplifer input.hlo