एचएलओ ऑपरेशन प्रोफ़ाइल टूल
प्रोफ़ाइलिंग की अवधि के दौरान, हाई लेवल ऑपरेशन (एचएलओ) की अलग-अलग कैटगरी के लिए, हार्डवेयर की परफ़ॉर्मेंस को समझने के लिए, एचएलओ ऑपरेशन प्रोफ़ाइल टूल का इस्तेमाल किया जा सकता है.
इन प्लैटफ़ॉर्म पर काम करता है
TPU: काम करता है
जीपीयू: काम करता है
एचएलओ ऑपरेशन प्रोफ़ाइल टूल का इस्तेमाल करना
एचएलओ ऑपरेशन प्रोफ़ाइल में ये कॉम्पोनेंट होते हैं:
- पेज पर सबसे ऊपर मौजूद खास जानकारी में, प्रोफ़ाइलिंग की अवधि के दौरान, ऐक्सेलरेटर कंप्यूट एफ़एलओपी और एचबीएम बैंडविड्थ के कुल इस्तेमाल की खास जानकारी मिलती है.
- नीचे दी गई टेबल में, इस्तेमाल के बारे में ज़्यादा जानकारी मिलती है. यह प्रोफ़ाइलिंग की अवधि के दौरान, हर मॉड्यूल के ज़रिए किए गए एचएलओ ऑपरेशन को कैटगरी में बांटता है. साथ ही, हैरारकी में जाकर, हर मॉड्यूल, मॉड्यूल में मौजूद हर कैटगरी या कैटगरी में मौजूद हर ऑपरेशन के हिसाब से, इस्तेमाल की जानकारी देखी जा सकती है. फ़्यूज़न ऑपरेशन को और भी बड़ा किया जा सकता है, ताकि उनमें शामिल नॉन-फ़्यूज़न, एलिमेंट-वाइज़ ऑपरेशन दिखाए जा सकें.
- कैटगरी तय करने का काम ज़्यादातर XLA कंपाइलर करता है.हालांकि, XProf कुछ मामलों में अन्य हेयुरिस्टिक्स का इस्तेमाल करता है. उदाहरण के लिए, यह “कन्वोल्यूशन फ़्यूज़न” की पहचान करने के लिए, एचएलओ ग्राफ़ को पार्स करता है.
- डिफ़ॉल्ट रूप से, मॉड्यूल, कैटगरी, और ऑपरेशन की सूची को, मॉड्यूल, कैटगरी या ऑपरेशन को लागू करने में बिताए गए कुल समय के हिसाब से क्रम में लगाया जाता है. इसके बजाय, उन ऑपरेशन के हिसाब से क्रम में लगाया जा सकता है जिनकी वजह से हार्डवेयर का सबसे ज़्यादा गलत इस्तेमाल होता है. ऑपरेशन के रनटाइम या "बर्बाद किए गए समय" के हिसाब से, इस्तेमाल का अनुमान लगाया जाता है. कम फ़्लोप्स इस्तेमाल करने वाले और ज़्यादा समय लेने वाले ऑपरेशन की पहचान करके, उन्हें ऑप्टिमाइज़ेशन के लिए टारगेट किया जा सकता है.
- टेबल में किसी ऑपरेशन पर कर्सर घुमाने पर, बाईं ओर एक कार्ड दिखता है. इसमें ऑपरेशन या ऑपरेशन कैटगरी के बारे में ज़्यादा जानकारी दिखती है. टेबल में मौजूद किसी एंट्री पर क्लिक करने से, ऑपरेशन की जानकारी वाला कार्ड पिन हो जाता है. आम तौर पर, इन कार्ड में ये चीज़ें शामिल होती हैं:
- ग्राफ़ व्यूअर टूल में मौजूद ऑपरेशन का लिंक.
- लागू होने में लगने वाला औसत समय.
- कंप्यूट (TFLOP/s), HBM बैंडविड्थ (GB/s), और चिप पर मौजूद रीड और राइट बैंडविड्थ (GB/s) के इस्तेमाल की सटीक दरें (टेबल में बताई गई उपयोगिता के मुकाबले).
- XLA ऑपरेशन की पूरी जानकारी, जिसमें अलग-अलग आकार और लेआउट की जानकारी शामिल है.
- फ़्रेमवर्क लेवल पर XLA ऑपरेशन का सोर्स.
- ऑपरेशन की संख्या और कुल मिलाकर ऑपरेशन पर बिताया गया कुल समय.
ध्यान दें कि रॉ बैंडविड्थ (GB/s) या कंप्यूट रेट (TFLOP/s) का हिसाब, ऑपरेशन (नंबरेटर) के लिए ज़रूरी FLOP या बाइट के स्टैटिक कंपाइलर डेटा को प्रोफ़ाइल से हर ऑपरेशन की अवधि की जानकारी (डेनोमिनेटर) के साथ जोड़कर लगाया जाता है. इस्तेमाल की संख्या (प्रतिशत) का हिसाब लगाने के लिए, हर एक्सेलरेटर की पीक कंप्यूट या पीक बैंडविड्थ क्षमता के हिसाब से, संसाधनों की खपत के डेटा का हिसाब लगाया जाता है.