โดยปกติเวิร์กโฟลว์การพัฒนา XLA จะมุ่งเน้นไปที่ IR HLO ซึ่งแสดงการประมวลผลฟังก์ชันแยกต่างหากที่ส่งไปยังคอมไพเลอร์ XLA มาพร้อมกับเครื่องมือบรรทัดคำสั่งหลายรายการ (อธิบายไว้ด้านล่าง) ซึ่งใช้ HLO และเรียกใช้ หรือระบุระยะการคอมไพล์ระดับกลาง การใช้เครื่องมือดังกล่าวมีประโยชน์อย่างยิ่งสำหรับcompile->modify->run
รอบการปรับปรุงที่รวดเร็ว เนื่องจาก HLO เป็นทั้งภาพที่มองเห็นได้และสามารถแฮ็กได้ และการเปลี่ยนแปลงและการเรียกใช้ซ้ำๆ มักเป็นวิธีที่เร็วที่สุดในการทำความเข้าใจและแก้ไขประสิทธิภาพหรือลักษณะการทํางานของ XLA
วิธีที่ง่ายที่สุดในการรับ HLO สําหรับโปรแกรมที่คอมไพล์ด้วย XLA คือการใช้ตัวแปรสภาพแวดล้อม XLA_FLAGS
ดังนี้
$ XLA_FLAGS=--xla_dump_to=/tmp/myfolder ./myprogram-entry-point
ซึ่งจะจัดเก็บไฟล์ HLO ก่อนการเพิ่มประสิทธิภาพทั้งหมดไว้ในโฟลเดอร์ที่ระบุ พร้อมกับอาร์ติแฟกต์อื่นๆ ที่มีประโยชน์อีกมากมาย
ข้อมูลโค้ด HLO ที่ใช้งานอยู่: run_hlo_module
เครื่องมือ run_hlo_module
จะทํางานกับ HLO ก่อนการเพิ่มประสิทธิภาพ และโดยค่าเริ่มต้นจะรวบรวม การเรียกใช้ และการเปรียบเทียบกับการใช้งานโปรแกรมล่ามอ้างอิง ตัวอย่างเช่น การเรียกใช้ปกติเพื่อเรียกใช้ไฟล์อินพุต computation.hlo
ใน GPU ของ NVIDIA และตรวจสอบความถูกต้องมีดังนี้
$ run_hlo_module --platform=CUDA --reference_platform=Interpreter computation.hlo
เช่นเดียวกับเครื่องมืออื่นๆ คุณสามารถใช้ --help
เพื่อดูรายการตัวเลือกทั้งหมด
เรียกใช้สnippet HLO ที่มีการสนับสนุน SPMD: multihost_hlo_runner
Multihost HLO runner เป็นเครื่องมือที่คล้ายกันมาก แต่มีข้อจำกัดที่รองรับ SPMD รวมถึงการสื่อสารข้ามโฮสต์ ดูรายละเอียดได้ในโปรแกรมรันไฮเปอร์ลิงก์หลายโฮสต์
การเล่นซ้ำหลาย HLO
ทั้ง run_hlo_module
และ hlo_runner_main
รองรับการเรียกใช้ที่มีหลายโมดูล ซึ่งมักสะดวกต่อการเล่นโมดูลทั้งหมดซ้ำในไดเรกทอรีการดัมพ์
$ hlo_runner_main /dump/*before_optimizations*
ระยะ/ระยะการทำงานของการคอมไพล์ HLO: hlo-opt
เมื่อแก้ไขข้อบกพร่องหรือทำความเข้าใจการทํางานของคอมไพเลอร์ มักจะมีประโยชน์ในการขยายฮาร์ดแวร์หนึ่งๆ ณ จุดหนึ่งๆ ในไปป์ไลน์ (ไม่ว่าจะเป็น HLO, HLO ที่เพิ่มประสิทธิภาพ, TritonIR หรือ LLVM) สําหรับอินพุต HLO (เสถียร) ที่ระบุ
hlo-opt
รองรับระยะการส่งออกหลายระยะ ไม่ว่าจะเป็น PTX, HLO หลังการเพิ่มประสิทธิภาพ, LLVM IR ก่อนการเพิ่มประสิทธิภาพ หรือ TritonIR ชุดระยะที่รองรับจะขึ้นอยู่กับแพลตฟอร์ม (เช่น PTX ใช้ได้เฉพาะกับ NVIDIA) และดูได้โดยใช้คำสั่ง --list-stages
$ hlo-opt --platform=CUDA --list-stages
hlo
llvm
ptx
หลังจากเลือกระยะแล้ว ผู้ใช้จะเขียนผลลัพธ์ของการแปลงสําหรับแพลตฟอร์มหนึ่งๆ ลงในสตรีมหนึ่งๆ ได้ ดังนี้
$ hlo-opt myinput.hlo --platform=CUDA --stage=llvm
ซึ่งจะพิมพ์การดัมพ์ไปยัง stdout (หรือไปยังไฟล์ที่ระบุหากมีการระบุ -o
)
การใช้งานแบบไม่ต้องใช้อุปกรณ์
การคอมไพล์ส่วนใหญ่ไม่จำเป็นต้องเข้าถึง GPU และการกำหนดข้อกำหนดของ GPU ในบรรทัดคำสั่งจะช่วยให้เราได้รับเอาต์พุต PTX ได้โดยไม่ต้องเข้าถึงตัวเร่งความเร็ว ตัวอย่างเช่น
$ hlo-opt --platform=CUDA --stage=llvm --xla_gpu_target_config_filename=(pwd)/tools/data/gpu_specs/a100_pcie_80.txtpb input.hlo
ข้อมูลจำเพาะของ GPU ยอดนิยมจะมาพร้อมกับคอมไพเลอร์ และไฟล์ที่ให้มาคือการแปลงเป็นสตริงของ device_description.proto
gpu_device_info {
cuda_compute_capability {
major: 8
minor: 0
}
threads_per_block_limit: 1024
threads_per_warp: 32
shared_memory_per_block: 127152
shared_memory_per_core: 65536
threads_per_core_limit: 2048
core_count: 6192
fpus_per_core: 64
block_dim_limit_x: 2147483647
block_dim_limit_y: 65535
block_dim_limit_z: 65535
memory_bandwidth: 2039000000000
l2_cache_size: 4194304
clock_rate_ghz: 1.1105
device_memory_size: 79050250240
}
platform_name: "CUDA"
การคอมไพล์แบบไม่ต้องใช้อุปกรณ์อาจพบปัญหาหากจำเป็นต้องใช้การปรับอัตโนมัติ แต่โชคดีที่เราสามารถระบุข้อมูลเหล่านั้นในบรรทัดคำสั่งได้เช่นกัน
$ hlo-opt --platform=CUDA --stage=llvm --xla_gpu_target_config_filename=gpu_specs/a100_pcie_80.txtpb --xla_gpu_load_autotune_results_from=results.textpb input.hlo
ไฟล์การปรับอัตโนมัติเป็นการจัดรูปแบบข้อความของ autotune_results.proto
โดยตัวอย่างจะมีลักษณะดังนี้
version: 3
results {
device: "CUDA: 8.0, Cores: 108, GPU clock: 1.41 GHz, Memory bandwidth: 1555 GB/s, L2 cache: 40 MB"
hlo: "{\n tmp_0 = f16[1,16,17,3]{3,2,1,0} parameter(0)\n tmp_1 = f16[16,51]{1,0} bitcast(f16[1,16,17,3]{3,2,1,0} tmp_0)\n tmp_2 = s8[16,17,3]{2,1,0} parameter(1)\n tmp_3 = s8[51,16]{0,1} bitcast(s8[16,17,3]{2,1,0} tmp_2)\n tmp_4 = f16[51,16]{0,1} convert(s8[51,16]{0,1} tmp_3)\n tmp_5 = f16[16,16]{1,0} dot(f16[16,51]{1,0} tmp_1, f16[51,16]{0,1} tmp_4), lhs_contracting_dims={1}, rhs_contracting_dims={0}\n ROOT tmp_6 = f16[1,16,16]{2,1,0} bitcast(f16[16,16]{1,0} tmp_5)\n}"
result {
run_time {
nanos: 31744
}
triton {
block_m: 32
block_n: 32
block_k: 32
split_k: 1
num_stages: 1
num_warps: 4
}
}
}
ฐานข้อมูลการปรับอัตโนมัติสามารถจัดรูปแบบโดยใช้
XLA_FLAGS=--xla_gpu_dump_autotune_results_t=<myfile.pbtxt>
เรียกใช้คอมไพเลอร์ครั้งเดียว
ระบบยังรองรับ Flag จาก XLA_FLAGS
ด้วย เพื่อให้ใช้เครื่องมือทดสอบการเรียกใช้แบบครั้งเดียวได้
$ hlo-opt --platform=CUDA --stage=hlo --passes=algebraic_simplifer input.hlo