เวิร์กโฟลว์การพัฒนา XLA มักจะมุ่งเน้นที่ HLO IR ซึ่งเป็นการประมวลผลการทำงานแบบแยกต่างหากที่กำหนดให้กับคอมไพเลอร์ XLA มาพร้อมกับเครื่องมือบรรทัดคำสั่งหลายรายการ (อธิบายไว้ด้านล่าง) ซึ่งใช้ HLO และใช้โปรแกรมดังกล่าว หรือจัดเตรียมขั้นตอนการคอมไพล์ระดับกลาง การใช้เครื่องมือดังกล่าวมีคุณค่าอย่างมากสำหรับรอบการทำซ้ำ compile->modify->run
ที่รวดเร็ว เนื่องจาก HLO นั้นมีทั้งแบบภาพและแฮ็กได้ และการเปลี่ยนและการเรียกใช้ซ้ำๆ มักเป็นวิธีที่รวดเร็วที่สุดในการทำความเข้าใจและแก้ไขประสิทธิภาพหรือลักษณะการทำงานของ XLA
วิธีที่ง่ายที่สุดในการรับ HLO สำหรับโปรแกรมที่คอมไพล์ด้วย XLA คือการใช้ตัวแปรสภาพแวดล้อม XLA_FLAGS
ดังนี้
XLA_FLAGS=--xla_dump_to=/tmp/myfolder ./myprogram-entry-point
ซึ่งจัดเก็บไฟล์ HLO ทั้งหมดก่อนการเพิ่มประสิทธิภาพในโฟลเดอร์ที่ระบุ รวมถึงอาร์ติแฟกต์ที่มีประโยชน์อื่นๆ อีกมากมาย
ข้อมูลโค้ด HLO ที่ใช้งานอยู่: run_hlo_module
เครื่องมือ run_hlo_module
ทำงานโดยใช้ HLO สำหรับการเพิ่มประสิทธิภาพล่วงหน้า และโดยค่าเริ่มต้น การรวบรวม เรียกใช้ และเปรียบเทียบกับการใช้งานล่ามข้อมูลอ้างอิง ตัวอย่างเช่น การเรียกใช้ไฟล์อินพุต computation.hlo
ตามปกติบน GPU ของ NVIDIA และเพื่อตรวจสอบความถูกต้องคือ
run_hlo_module --platform=CUDA --reference_platform=Interpreter computation.hlo
เช่นเดียวกับเครื่องมือทั้งหมด --help
สามารถใช้เพื่อรับรายการตัวเลือกทั้งหมด
การเรียกใช้ข้อมูลโค้ด HLO ที่มีการสนับสนุน SPMD: multihost_hlo_runner
Multihost HLO Runner เป็นเครื่องมือที่คล้ายกันมาก โดยมีข้อควรระวังว่ารองรับ SPMD รวมถึงการสื่อสารระหว่างโฮสต์ การเรียกใช้ตามปกติจะมีลักษณะดังนี้
hlo_runner_main --device_type=gpu --use_spmd_partitioning=true --num_partitions=4 --num_replicas=1 --hlo_file=computation.hlo
บัตรผ่าน/ระยะการคอมไพล์ HLO: hlo-opt
เวลาแก้ไขข้อบกพร่องหรือทำความเข้าใจการทำงานของคอมไพเลอร์ การแก้ไขข้อบกพร่องสำหรับฮาร์ดแวร์บางอย่าง ณ จุดใดจุดหนึ่งในไปป์ไลน์ (ไม่ว่าจะเป็น HLO, HLO ที่เพิ่มประสิทธิภาพ, TritonIR หรือ LLVM) สำหรับอินพุต HLO (เสถียร) ก็มักจะเป็นประโยชน์
hlo-opt
รองรับเอาต์พุตหลายขั้นตอน ไม่ว่าจะเป็น PTX, HLO หลังจากการเพิ่มประสิทธิภาพ, LLVM IR ก่อนการเพิ่มประสิทธิภาพ หรือ TritonIR ชุดขั้นตอนที่รองรับจะขึ้นอยู่กับแพลตฟอร์ม (เช่น PTX เป็น NVIDIA โดยเฉพาะ) และสามารถดูได้โดยใช้คำสั่ง --list-stages ดังนี้
$ hlo-opt --platform=CUDA --list-stages
hlo
llvm
ptx
หลังจากเลือกขั้นตอน ผู้ใช้สามารถเขียนผลลัพธ์ของ Conversion สำหรับแพลตฟอร์มที่ระบุไปยังสตรีมที่ระบุได้ ดังนี้
$ hlo-opt myinput.hlo --platform=CUDA --stage=llvm
ซึ่งจะพิมพ์ Dump ไปยัง Stdout (หรือไปยังไฟล์ที่ระบุหากระบุ -o
)
การใช้งานที่ไม่มีอุปกรณ์
การคอมไพล์ส่วนใหญ่ไม่จำเป็นต้องใช้การเข้าถึง GPU และการระบุข้อมูลจำเพาะของ GPU ในบรรทัดคำสั่ง เราจะสามารถรับเอาต์พุต PTX โดยไม่ต้องเข้าถึงตัวเร่ง
$ hlo-opt --platform=CUDA --stage=llvm --xla_gpu_target_config_filename=(pwd)/tools/data/gpu_specs/a100_80.txtpb input.hlo
ข้อกำหนดสำหรับ GPU ยอดนิยมจะจัดส่งพร้อมกับคอมไพเลอร์และไฟล์ที่ระบุเป็นสตริงการทำให้เป็นอนุกรมของ device_description.proto
ดังนี้
gpu_device_info {
cuda_compute_capability {
major: 8
minor: 0
}
threads_per_block_limit: 1024
threads_per_warp: 32
shared_memory_per_block: 127152
shared_memory_per_core: 65536
threads_per_core_limit: 2048
core_count: 6192
fpus_per_core: 64
block_dim_limit_x: 2147483647
block_dim_limit_y: 65535
block_dim_limit_z: 65535
memory_bandwidth: 2039000000000
l2_cache_size: 4194304
clock_rate_ghz: 1.1105
device_memory_size: 79050250240
}
platform_name: "CUDA"
การคอมไพล์แบบไร้อุปกรณ์อาจเกิดปัญหาหากต้องปรับแต่งอัตโนมัติ โชคดีที่เรายังมีบรรทัดคําสั่งต่อไปนี้
hlo-opt --platform=CUDA --stage=llvm --xla_gpu_target_config_filename=gpu_specs/a100_80.txtpb --xla_gpu_load_autotune_results_from=results.textpb input.hlo
ไฟล์การปรับแต่งอัตโนมัติคือการเรียงอันดับข้อความของ autotune_results.proto
โดยมีตัวอย่างดังนี้
version: 2
results {
device: "sm_8.0 with 42331013120B RAM, 108 cores, 1410000KHz clock, 1215000KHz mem clock, 41943040B L2$"
hlo: "{\n tmp_0 = f16[1,16,17,3]{3,2,1,0} parameter(0)\n tmp_1 = f16[16,51]{1,0} bitcast(f16[1,16,17,3]{3,2,1,0} tmp_0)\n tmp_2 = s8[16,17,3]{2,1,0} parameter(1)\n tmp_3 = s8[51,16]{0,1} bitcast(s8[16,17,3]{2,1,0} tmp_2)\n tmp_4 = f16[51,16]{0,1} convert(s8[51,16]{0,1} tmp_3)\n tmp_5 = f16[16,16]{1,0} dot(f16[16,51]{1,0} tmp_1, f16[51,16]{0,1} tmp_4), lhs_contracting_dims={1}, rhs_contracting_dims={0}\n ROOT tmp_6 = f16[1,16,16]{2,1,0} bitcast(f16[16,16]{1,0} tmp_5)\n}"
result {
run_time {
nanos: 31744
}
triton {
block_m: 32
block_n: 32
block_k: 32
split_k: 1
num_stages: 1
num_warps: 4
}
}
}
ฐานข้อมูลการปรับแต่งอัตโนมัติสามารถทำเป็นลำดับได้โดยใช้ XLA_FLAGS=--xla_gpu_dump_autotune_results_t=<myfile.pbtxt>
การเรียกใช้ Compiler Pass รายการเดียว
นอกจากนี้ ยังรองรับ Flag จาก XLA_FLAGS
ด้วย จึงใช้เครื่องมือนี้เพื่อทดสอบการใช้งานบัตรผ่านรายการเดียวได้
hlo-opt --platform=CUDA --stage=hlo --xla-hlo-enable-passes-only=algebraic_simplifer input.hlo