अटकलों के लिए एक चक्र-सटीक विकल्प-एकीकृत स्केलर, वेक्टर और मैट्रिक्स गणना

आधी सदी से अधिक के लिए, कंप्यूटिंग पर भरोसा किया है वॉन न्यूमैन या हार्वर्ड मॉडल। लगभग हर आधुनिक चिप – सीपीयू, जीपीयू और यहां तक ​​कि कई विशेष त्वरक – इस डिजाइन से प्राप्त होते हैं। समय के साथ, नए आर्किटेक्चर जैसे बहुत लंबा निर्देश शब्द (VLIW), DataFlow प्रोसेसर और GPU को विशिष्ट प्रदर्शन की अड़चनों को संबोधित करने के लिए पेश किया गया था, लेकिन किसी ने भी प्रतिमान के लिए एक व्यापक विकल्प की पेशकश नहीं की। एक नया दृष्टिकोण कहा जाता है नियतात्मक निष्पादन इस यथास्थिति को चुनौती देता है। गतिशील रूप से यह अनुमान लगाने के बजाय कि आगे क्या निर्देशों को चलाने के लिए, यह चक्र-स्तरीय परिशुद्धता के साथ हर ऑपरेशन को शेड्यूल करता है, एक पूर्वानुमानित निष्पादन समयरेखा बनाता है। यह एक एकल प्रोसेसर को स्केलर, वेक्टर और मैट्रिक्स कंप्यूट को एकजुट करने में सक्षम बनाता है-अलग-अलग त्वरक पर भरोसा किए बिना सामान्य-उद्देश्य और ए-इंटेंसिव वर्कलोड दोनों को संभालना।

अनुमान का अंत

गतिशील निष्पादन में, प्रोसेसर भविष्य के निर्देशों के बारे में अनुमान लगाते हैं, ऑर्डर से बाहर काम करते हैं और भविष्यवाणियों के गलत होने पर वापस रोल करते हैं। यह जटिलता, अपशिष्ट शक्ति जोड़ता है और सुरक्षा कमजोरियों को उजागर कर सकता है। नियतात्मक निष्पादन पूरी तरह से अटकलों को समाप्त करता है। प्रत्येक निर्देश में एक निश्चित समय स्लॉट और संसाधन आवंटन होता है, यह सुनिश्चित करता है कि यह बिल्कुल सही चक्र पर जारी किया जाए। इसके पीछे का तंत्र एक समय-संसाधन मैट्रिक्स है: एक शेड्यूलिंग फ्रेमवर्क जो समय के साथ ऑर्केस्ट्रेट करता है, स्मृति और नियंत्रण संसाधनों की गणना करता है। एक ट्रेन समय सारिणी की तरह, स्केलर, वेक्टर और मैट्रिक्स संचालन पाइपलाइन स्टालों या विवाद के बिना एक सिंक्रनाइज़्ड कंप्यूट फैब्रिक में चलते हैं।

यह एंटरप्राइज एआई के लिए क्यों मायने रखता है

उद्यम एआई वर्कलोड मौजूदा आर्किटेक्चर को उनकी सीमा तक धकेल रहे हैं। GPU बड़े पैमाने पर थ्रूपुट प्रदान करते हैं, लेकिन भारी शक्ति का उपभोग करते हैं और स्मृति की अड़चन के साथ संघर्ष करते हैं। सीपीयू लचीलापन प्रदान करता है, लेकिन आधुनिक अनुमान और प्रशिक्षण के लिए आवश्यक समानता की कमी है। मल्टी-चिप समाधान अक्सर विलंबता, सिंक्रनाइज़ेशन मुद्दों और सॉफ्टवेयर विखंडन का परिचय देते हैं। बड़े एआई वर्कलोड में, डेटासेट अक्सर कैश में फिट नहीं हो सकते हैं, और प्रोसेसर को उन्हें सीधे DRAM या HBM से खींचना होगा। एक्सेस सैकड़ों चक्र ले सकते हैं, जिससे कार्यात्मक इकाइयाँ निष्क्रिय और जलती हुई ऊर्जा को छोड़ सकते हैं। पारंपरिक पाइपलाइन हर निर्भरता पर स्टाल, सैद्धांतिक और वितरित थ्रूपुट के बीच प्रदर्शन की खाई को बढ़ाते हैं। नियतात्मक निष्पादन इन चुनौतियों को तीन महत्वपूर्ण तरीकों से संबोधित करता है। सबसे पहले, यह एक एकीकृत वास्तुकला प्रदान करता है जिसमें एक ही चिप पर सामान्य-उद्देश्य प्रसंस्करण और एआई त्वरण सह-अस्तित्व, इकाइयों के बीच स्विच करने के ओवरहेड को समाप्त करता है। दूसरा, यह चक्र-सटीक निष्पादन के माध्यम से पूर्वानुमानित प्रदर्शन को बचाता है, जिससे यह विलंबता-संवेदनशील अनुप्रयोगों के लिए आदर्श है बड़े लैंग्वेज मॉडल (एलएलएम) अनुमान, धोखाधड़ी का पता लगाना और औद्योगिक स्वचालन। अंत में, यह नियंत्रण तर्क को सरल करके बिजली की खपत और भौतिक पदचिह्न को कम करता है, जो बदले में एक छोटे से मरने वाले क्षेत्र और कम ऊर्जा के उपयोग में अनुवाद करता है। डेटा आने पर ठीक से भविष्यवाणी करके – चाहे 10 चक्रों में या 200 में – नियतात्मक निष्पादन पर निर्भर निर्देशों को सही भविष्य के चक्र में स्लॉट कर सकता है। यह एक शेड्यूल करने योग्य घटना में एक खतरे से विलंबता को बदल देता है, निष्पादन इकाइयों को पूरी तरह से उपयोग करता है और जीपीयू या कस्टम वीएलआईडब्ल्यू चिप्स द्वारा उपयोग किए जाने वाले बड़े पैमाने पर थ्रेड और बफर ओवरहेड्स से बचता है। मॉडल किए गए वर्कलोड में, यह एकीकृत डिज़ाइन सामान्य-उद्देश्य कोड चलाते समय त्वरक-क्लास हार्डवेयर के साथ सममूल्य पर निरंतर थ्रूपुट प्रदान करता है, जिससे एकल प्रोसेसर को आम तौर पर एक सीपीयू और जीपीयू के बीच विभाजित करने में सक्षम बनाया जाता है। के लिए एलएलएम परिनियोजन टीमइसका मतलब है कि सटीक प्रदर्शन की गारंटी के साथ अंतर्विरोध सर्वर को ट्यून किया जा सकता है। डेटा इन्फ्रास्ट्रक्चर मैनेजर्स के लिए, यह एक एकल गणना लक्ष्य प्रदान करता है जो कि प्रमुख सॉफ्टवेयर के बिना क्लाउड रैक से लेकर क्लाउड रैक तक तराजू को फिर से लिखता है।

पारंपरिक वॉन न्यूमैन आर्किटेक्चर और एकीकृत नियतात्मक निष्पादन की तुलना। लेखक द्वारा बनाई गई छवि।

प्रमुख वास्तुशिल्प नवाचार

नियतात्मक निष्पादन कई सक्षम तकनीकों पर बनाता है। समय-संसाधन मैट्रिक्स ऑर्केस्ट्रेट निश्चित समय स्लॉट में गणना और मेमोरी संसाधनों की गणना करते हैं। फैंटम रजिस्टर भौतिक रजिस्टर फ़ाइल की सीमा से परे पाइपलाइनिंग की अनुमति देते हैं। वेक्टर डेटा बफ़र्स और विस्तारित वेक्टर रजिस्टर सेट एआई संचालन के लिए समानांतर प्रसंस्करण को स्केल करना संभव बनाते हैं। निर्देश रीप्ले बफ़र्स अटकलों पर भरोसा किए बिना, चर-विलंबता घटनाओं का अनुमान लगाते हैं। आर्किटेक्चर की डुअल-बैंक्ड रजिस्टर फ़ाइल अधिक बंदरगाहों के दंड के बिना पढ़ी/लिखने की क्षमता को युगल करती है। वेक्टर लोड/स्टोर बफर में DRAM से डायरेक्ट कतार में मेमोरी एक्सेस एक्सेस करता है और मल्टी-मेगाबाइट SRAM बफ़र्स की आवश्यकता को दूर करता है-सिलिकॉन क्षेत्र, लागत और बिजली काटना। मॉडलिंग एआई और डीएसपी गुठली में, पारंपरिक डिजाइन एक लोड जारी करते हैं, इसके लौटने की प्रतीक्षा करें, फिर आगे बढ़ें – जिससे पूरी पाइपलाइन बेकार हो जाती है। नियतात्मक निष्पादन पाइपलाइन लोड और समानांतर में निर्भर संगणना, एक ही लूप को बिना किसी रुकावट के चलाने की अनुमति देता है, दोनों निष्पादन समय और जूल प्रति ऑपरेशन दोनों को काटता है। साथ में, ये नवाचार एक कंप्यूट इंजन बनाते हैं जो दो अलग -अलग चिप्स की आवश्यकता के बिना, एक त्वरक के निरंतर थ्रूपुट के साथ सीपीयू के लचीलेपन को जोड़ती है।

एआई से परे निहितार्थ

जबकि एआई वर्कलोड एक स्पष्ट लाभार्थी हैं, नियतात्मक निष्पादन के अन्य डोमेन के लिए व्यापक निहितार्थ हैं। सुरक्षा-महत्वपूर्ण प्रणालियाँ-जैसे कि मोटर वाहन, एयरोस्पेस और चिकित्सा उपकरणों में-नियतात्मक समय की गारंटी से लाभ हो सकते हैं। वित्त और संचालन में रियल-टाइम एनालिटिक्स सिस्टम घबराए के बिना काम करने की क्षमता प्राप्त करते हैं। एज कंप्यूटिंग प्लेटफॉर्म, जहां बिजली के प्रत्येक वाट मायने रखते हैं, अधिक कुशलता से काम कर सकते हैं। अनुमान को समाप्त करने और अनुमानित समय को लागू करने से, इस दृष्टिकोण पर निर्मित सिस्टम सत्यापित करना आसान हो जाता है, अधिक सुरक्षित और अधिक ऊर्जा-कुशल।

उद्यम प्रभाव

पैमाने पर एआई को तैनात करने वाले उद्यमों के लिए, वास्तुशिल्प दक्षता सीधे प्रतिस्पर्धात्मक लाभ में अनुवाद करती है। पूर्वानुमान, विलंबता-मुक्त निष्पादन एलएलएम इनवेंशन क्लस्टर्स के लिए क्षमता योजना को सरल बनाता है, जो कि पीक लोड के तहत लगातार प्रतिक्रिया समय सुनिश्चित करता है। कम बिजली की खपत और कम सिलिकॉन फुटप्रिंट ने परिचालन खर्चों में कटौती की, विशेष रूप से बड़े डेटा केंद्रों में जहां शीतलन और ऊर्जा लागत बजट पर हावी होती है। किनारे के वातावरण में, एक चिप पर विविध कार्यभार चलाने की क्षमता हार्डवेयर स्की को कम करती है, तैनाती की समयसीमा को छोटा करती है और रखरखाव जटिलता को कम करती है।

एंटरप्राइज कंप्यूटिंग के लिए आगे एक मार्ग

नियतात्मक निष्पादन में बदलाव केवल कच्चे प्रदर्शन के बारे में नहीं है; यह वास्तुशिल्प सादगी की वापसी का प्रतिनिधित्व करता है, जहां एक चिप बिना समझौता किए कई भूमिकाओं की सेवा कर सकता है। जैसा कि एआई हर क्षेत्र की अनुमति देता है, विनिर्माण से लेकर साइबर सुरक्षा तक, एक ही वास्तुकला पर विभिन्न वर्कलोड को चलाने की क्षमता एक रणनीतिक लाभ होगी। अगले पांच से 10 वर्षों के लिए बुनियादी ढांचे का मूल्यांकन करने वाले उद्यमों को इस विकास को बारीकी से देखना चाहिए। नियतात्मक निष्पादन में हार्डवेयर जटिलता को कम करने, बिजली की लागत में कटौती करने और सॉफ़्टवेयर परिनियोजन को सरल बनाने की क्षमता है – जबकि अनुप्रयोगों की एक विस्तृत श्रृंखला में लगातार प्रदर्शन को सक्षम करना।

थांग मिन्ह ट्रान एक माइक्रोप्रोसेसर वास्तुकार और सीपीयू और एक्सेलेरेटर डिजाइन में 180 से अधिक पेटेंट के आविष्कारक हैं।