XProf เป็นเครื่องมือสร้างโปรไฟล์และวิเคราะห์ประสิทธิภาพสำหรับแมชชีนเลิร์นนิง
ฟีเจอร์
- ข้อมูลโปรไฟล์คุณภาพสูงตามเหตุการณ์และตัวนับของฮาร์ดแวร์ และ ข้อมูลเมตาของคอมไพเลอร์
- ค่าใช้จ่ายในการรวบรวมต่ำ โดยปกติจะน้อยกว่า 1% ใน TPU และน้อยกว่า 5% ใน GPU ในช่วง ระยะเวลาการสร้างโปรไฟล์
- ชุดเครื่องมือที่หลากหลายซึ่งช่วยให้คุณเข้าใจภาระงานอย่างลึกซึ้ง
- หน้าภาพรวม: ดูมุมมองระดับบนสุดแบบรวมของประสิทธิภาพโมเดล ในระหว่างการเรียกใช้โปรไฟล์ รวมถึงประสิทธิภาพการใช้ทรัพยากรฮาร์ดแวร์
- Trace Viewer: แสดงภาพไทม์ไลน์โดยละเอียดของเหตุการณ์ที่เกิดขึ้น และส่วนใดของระบบที่ดำเนินการ (เช่น CPU, TPU หรือ GPU)
- โปรแกรมดูกราฟ: แสดงภาพโครงสร้างกราฟของโปรแกรม XLA โดยจะ แสดงกราฟการปฏิบัติการระดับสูง (HLO)
- โปรแกรมดูหน่วยความจำ: แสดงภาพการใช้หน่วยความจำตลอดอายุการใช้งานของโปรแกรม และเจาะลึกรายละเอียดเนื้อหาของหน่วยความจำ ณ จุดที่มีการใช้หน่วยความจำสูงสุด
- โปรไฟล์หน่วยความจำ: แสดงภาพการใช้งานหน่วยความจำแบบไดนามิกของ ตัวเร่งความเร็วขณะรันโปรแกรม
- โปรไฟล์การทำงานของ HLO: ทำความเข้าใจประสิทธิภาพของฮาร์ดแวร์สำหรับ หมวดหมู่ต่างๆ ของการดำเนินการระดับสูง (HLO) ที่โปรแกรมของคุณดำเนินการ
- สถิติการดำเนินการ HLO: ดูสถิติประสิทธิภาพของการดำเนินการ High Level Optimizer (HLO) ที่โปรแกรมของคุณดำเนินการ และระบุการดำเนินการที่ใช้เวลานานที่สุด ในกราฟ HLO
- สถิติการทำงานของเฟรมเวิร์ก: ดูสถิติประสิทธิภาพของ การทำงานระดับเฟรมเวิร์ก (เช่น JAX, TensorFlow หรือ PyTorch/XLA) ที่ดำเนินการในโฮสต์และตัวเร่ง
- การวิเคราะห์ Roofline: ดูโมเดลประสิทธิภาพแบบภาพที่ใช้งานง่ายซึ่ง แสดงข้อจำกัดของฮาร์ดแวร์ที่มีผลต่อประสิทธิภาพของโปรแกรม และระบุว่าโปรแกรมนั้นขึ้นอยู่กับหน่วยความจำหรือการคำนวณ
- สถิติระดับเมกะสเกล: วิเคราะห์ประสิทธิภาพการสื่อสารระหว่าง Slice ของ เวิร์กโหลดที่ครอบคลุม TPU Slice หลายรายการซึ่งสื่อสารผ่านเครือข่ายศูนย์ข้อมูล (DCN)
- สถิติเคอร์เนลของ GPU: ดูสถิติประสิทธิภาพและการดำเนินการเฟรมเวิร์กต้นทางสำหรับเคอร์เนลที่เร่งการทำงานของ GPU ทุกรายการในโปรแกรม
เริ่มต้นใช้งาน
ดูวิธีการติดตั้งได้ที่คู่มือเริ่มใช้งานฉบับย่อของ XProf
หากคุณใช้ Google Cloud เพื่อเรียกใช้ภาระงาน เราขอแนะนำให้ใช้เครื่องมือ xprofiler โดยจะมอบประสบการณ์การรวบรวมและดูโปรไฟล์ที่มีประสิทธิภาพโดยใช้ VM ที่เรียกใช้ XProf
หากต้องการดูการสาธิตความสามารถของ XProf แบบย่อ ให้ลองใช้สมุดบันทึกการสาธิต
การผสานรวม TensorBoard
ในอดีต วิธีเดียวในการติดตั้งและใช้ XProf คือการใช้ Tensorboard ซึ่งเรียกว่าโปรไฟล์ปลั๊กอิน TensorBoard เอกสารประกอบบางส่วนที่เก่ากว่าอาจยังใช้คำนี้อยู่ ตอนนี้การผสานรวมนี้เป็นแบบไม่บังคับแล้ว คุณสามารถคิดว่า Tensorboard เป็นคอนเทนเนอร์สำหรับชุดเครื่องมือ XProf ซึ่งสามารถติดตั้งและใช้งานแบบสแตนด์อโลนได้ด้วย โดยมีลักษณะการทำงานเหมือนกัน