मराठी बातम्या
ताज्या
देशाची पुन्हा दिवाळखोरीकडे वाटचाल सुरू आहे, असा इशारा माजी मंत्री रजिथा सेनारत्ने यांनी दिला.माजी राष्ट्रपती थंबुटेगामा येथील गरजू कुटुंबासाठी घरासाठी निधी देतातअब्जावधी रुपयांची कॅन्सर उपचार यंत्रे निष्क्रिय असल्याने रुग्णांना अधिक विलंब होतोसूर्याला एकाच वर्षात प्रत्येकी 2 अब्ज भारतीय रुपये कमावणाऱ्या तीन चित्रपटांची शक्यतापाकिस्तानमधील तारबेला जलविद्युत प्रकल्पात रिटेनिंग वॉल कोसळल्याची माहिती आहेमंत्री म्हणतात की आंतरराष्ट्रीय प्रसारक श्रीलंकेच्या पर्यटनासाठी समर्थन देतातनोचियागामा हत्येत कथित मदत केल्याप्रकरणी पोलिसांनी एका व्यक्तीला अटक केलीसिंहराजामध्ये कथित वन्यजीव नमुने गोळा केल्याप्रकरणी चार चिनी नागरिकांना कोठडी
एआय आणि तंत्रज्ञान

PagedAttention, स्पेक्युलेटिव्ह डिकोडिंग, MoE आणि Blackwell

प्रकाशित ऑप्टिकल फायबरचे प्रातिनिधिक चित्र, कोणतीही विशिष्ट GPU प्रणाली नव्हे.
प्रकाशित ऑप्टिकल फायबरचे प्रातिनिधिक चित्र, कोणतीही विशिष्ट GPU प्रणाली नव्हे.

आधुनिक AI तैनाती प्रचंड मॉडेल अतिवेगाने आणि कमी खर्चात चालवण्यासाठी मेमरी-व्हर्च्युअलाइज्ड सर्व्हिंग इंजिन, स्पार्स एक्स्पर्ट राउटिंग आणि सब-बाइट हार्डवेअर अचूकतेवर अवलंबून असते. ही तीन तंत्रज्ञाने प्रॉडक्शन LLM पायाभूत सुविधांच्या आघाडीचे प्रतिनिधित्व करतात.

1. LLM इन्फरन्स सर्व्हिंग सुधारणा: PagedAttention & स्पेक्युलेटिव्ह डिकोडिंग

मजकूर तयार करताना LLM आधीच्या प्रत्येक टोकनचे Key (K) आणि Value (V) टेन्सर VRAMमध्ये कॅश करते, म्हणजे प्रत्येक टप्प्यावर त्यांची पुन्हा गणना करावी लागत नाही. या KV Cacheचे व्यवस्थापन आणि एकेक टोकन तयार करण्याच्या क्रमिक अडथळ्यावर मात करणे ही इन्फरन्स सर्व्हिंगमधील दोन सर्वांत मोठी आव्हाने आहेत.

  • PagedAttention (vLLM) - KV Cacheसाठी व्हर्च्युअल मेमरी.
  • फ्रॅगमेंटेशनची समस्या. पूर्वी इन्फरन्स इंजिन प्रत्येक विनंतीसाठी मॉडेलच्या कमाल शक्य अनुक्रम लांबीनुसार (उदा., 32,768 टोकन) VRAMचा सलग तुकडा आधीच राखून ठेवत. वापरकर्त्याने फक्त 200 टोकन तयार केल्यास राखीव VRAMपैकी 99%हून अधिक रिकामी राहत असे, आणि अंतर्गत व बाह्य फ्रॅगमेंटेशनमुळे 60% ते 80% GPU मेमरी वाया जात असे.
  • OS-शैलीतील पेजिंग. ऑपरेटिंग सिस्टमच्या व्हर्च्युअल मेमरीपासून प्रेरित PagedAttention प्रत्येक अनुक्रमाची KV cache लहान, निश्चित आकाराच्या ब्लॉक्समध्ये विभागते (उदा., प्रत्येक ब्लॉकमध्ये 16 टोकन), जे प्रत्यक्ष VRAMमध्ये सलग नसलेल्या कोणत्याही ठिकाणी ठेवता येतात. एक हलके ब्लॉक टेबल अटेन्शन कर्नलच्या आत लॉजिकल टोकन ब्लॉक्सचे प्रत्यक्ष GPU मेमरी पत्त्यांशी तत्काळ मॅपिंग करते.
  • मेमरी शेअरिंग (Copy-on-Write). ब्लॉक्स वेगळे असल्याने समान सिस्टम प्रॉम्प्ट असलेल्या किंवा समांतर पूर्ण उत्तरे तयार करणाऱ्या (जसे बीम सर्च) अनेक विनंत्या VRAMमधील अगदी त्याच प्रत्यक्ष KV ब्लॉक्सकडे निर्देश करतात, त्यामुळे मेमरी वापर मोठ्या प्रमाणात कमी होतो आणि खूप मोठ्या बॅच शक्य होतात.
  • स्पेक्युलेटिव्ह डिकोडिंग - क्रमिक अडथळा तोडणे.
  • ऑटोरिग्रेसिव्ह जनरेशन संथ का असते. 100 टोकन तयार करण्यासाठी 100 क्रमिक फॉरवर्ड पास आवश्यक असतात. प्रत्येक पास फक्त एक नवीन टोकन प्रक्रिया करत असल्याने GPUचा बहुतांश वेळ VRAMमधून मॉडेल वेट्स वाचण्यात जातो, तर त्याचे Tensor Cores जवळपास निष्क्रिय राहतात.
  • ड्राफ्ट-अँड-व्हेरिफाय पाइपलाइन. स्पेक्युलेटिव्ह डिकोडिंग प्रचंड टार्गेट मॉडेलला (उदा., 70B पॅरामीटर) एका लहान, अतिवेगवान ड्राफ्ट मॉडेलशी जोडते (उदा., 1B–3B पॅरामीटर किंवा Medusa / EAGLEसारखे हलके प्रेडिक्शन हेड्स).
  • समांतर पडताळणी. लहान ड्राफ्ट मॉडेल पुढील K टोकनचा (उदा., 5 टोकन) पटकन क्रमाने अंदाज लावते. त्यानंतर प्रचंड टार्गेट मॉडेल अंदाजित सर्व 5 टोकन एकाच समांतर फॉरवर्ड पासमध्ये प्रक्रिया करून त्यांच्या संभाव्यता तपासते. 5 टोकन समांतरपणे पडताळण्यासाठी जवळपास 1 टोकन तयार करण्याइतकाच वेळ लागत असल्याने प्रणाली सर्व जुळणारे टोकन एकाच वेळी स्वीकारते, त्यामुळे गणितीयदृष्ट्या समान आउटपुट गुणवत्तेसह 2× ते 3× अधिक वेगाने जनरेशन होते.

2. Mixture-of-Experts (MoE) & एक्स्पर्ट समांतरता

डेन्स मॉडेल प्रत्येक टोकनसाठी त्यांचे 100% पॅरामीटर सक्रिय करतात, त्यामुळे प्रचंड मॉडेल चालवणे परवडेनासे होते. Mixture-of-Experts (MoE) आर्किटेक्चर मॉडेलचे एकूण ज्ञान आणि प्रत्येक टोकनमागील गणनेचा खर्च वेगळे करते.

  • MoE लेयर्स कसे काम करतात (Mixtral & DeepSeek).
  • MoE Transformer ब्लॉकमध्ये एकाच डेन्स Feed-Forward Networkची (FFN) जागा Experts नावाचे लहान स्वतंत्र FFNsचा संच घेतो (उदा., Mixtral 8x7Bमध्ये 8 एक्स्पर्ट किंवा DeepSeek-V3मध्ये 256 सूक्ष्म-स्तरीय एक्स्पर्ट).
  • एक हलका प्रशिक्षित Router (Gating Network) येणारे प्रत्येक टोकन तपासतो आणि त्याला फक्त सर्वाधिक संबंधित टॉप-K एक्स्पर्टकडे पाठवतो (सामान्यतः 2 ते 8 एक्स्पर्ट). मॉडेल मेमरीमध्ये एकूण 600B+ पॅरामीटर ठेवू शकते, पण प्रत्येक टोकनसाठी फक्त 37B पॅरामीटर सक्रिय करते, त्यामुळे गणनाखर्चाच्या अल्प भागात प्रचंड मॉडेलची बुद्धिमत्ता मिळते.
  • सामायिक एक्स्पर्ट & सहाय्यक-लॉस-विरहित संतुलन. DeepSeekसारख्या आधुनिक MoE रचनांमध्ये काही Shared Experts प्रत्येक टोकन प्रक्रिया करून सामायिक पायाभूत ज्ञान आत्मसात करतात, तर राउट केलेले एक्स्पर्ट विशिष्ट क्षेत्रांत विशेष प्रावीण्य मिळवतात. डायनॅमिक बायस समायोजन "राउटिंग कोलॅप्स" टाळते (ज्यात राउटर काही लोकप्रिय एक्स्पर्टवर जास्त भार टाकतो आणि उरलेल्यांकडे दुर्लक्ष करतो).
  • GPUsदरम्यान एक्स्पर्ट समांतरता (EP).
  • MoE मॉडेलमध्ये शेकडो एक्स्पर्ट असल्यामुळे ते एका GPUमध्ये मावू शकत नाहीत. एक्स्पर्ट समांतरता वेगवेगळे एक्स्पर्ट वेगवेगळ्या GPUsवर वितरित करते (उदा., एक्स्पर्ट 1–4 GPU 0वर, एक्स्पर्ट 5–8 GPU 1वर).
  • All-to-All संवाद. GPU 0 टोकनची बॅच प्रक्रिया करतो तेव्हा त्याचा राउटर काही टोकन GPU 3वरील एक्स्पर्टना देऊ शकतो. त्यामुळे प्रत्येक MoE लेयर All-to-All डिस्पॅच करते: हाय-स्पीड NVLink/InfiniBand इंटरकनेक्टद्वारे टोकनचे हिडन स्टेट्स नेमून दिलेला एक्स्पर्ट असलेल्या GPUकडे पाठवते, एक्स्पर्ट FFNची गणना करते आणि परिणाम परत आणण्यासाठी दुसरी All-to-All कम्बाइन पायरी करते.

3. NVIDIA Blackwell (B200) & दुसऱ्या पिढीचे Transformer Engine (FP4)

ट्रिलियन-पॅरामीटर रिझनिंग आणि MoE मॉडेल स्केल करण्यासाठी सादर केलेल्या NVIDIA Blackwell (B200) आर्किटेक्चरने मल्टी-डाय पॅकेजिंग आणि सब-बाइट संख्यात्मक अचूकता या दोन्हींची रचना बदलली.

  • ड्युअल-डाय एकीकृत आर्किटेक्चर.
  • एका B200 GPUमध्ये दोन रेटिकल-मर्यादित डायवर 208 अब्ज ट्रान्झिस्टर असतात. हे डाय 10 TB/s NV-HBI (High-Bandwidth Interface)ने जोडलेले असतात. CUDA कर्नल आणि सॉफ्टवेअर फ्रेमवर्क्सना हे दोन्ही डाय एकच एकीकृत GPU म्हणून दिसतात, कोणताही कॅश-सुसंगततेचा दंड न लागता.
  • HBM3e मेमरी बँडविड्थ. 8 TB/s मेमरी बँडविड्थ देणाऱ्या 192 GB HBM3e VRAMसह (H100च्या 3.35 TB/sपेक्षा दुपटीहून अधिक), Blackwell थेट KV cache आणि MoE वेट लोडिंगच्या मेमरी-बँडविड्थ अडथळ्यांना लक्ष्य करते.
  • दुसऱ्या पिढीचे Transformer Engine & NVFP4.
  • Hopperने 8-bit फ्लोटिंग-पॉइंट (FP8) आणले होते, तर Blackwellचे दुसऱ्या पिढीचे Transformer Engine Tensor Core गणना 4-bit फ्लोटिंग-पॉइंटपर्यंत (FP4) नेते. यामुळे मूळ गणना थ्रूपुट पुन्हा दुप्पट होतो (प्रत्येक GPUमागे 20 petaFLOPSपर्यंत डेन्स FP4 गणना) आणि FP8च्या तुलनेत मेमरी वापर निम्मा होतो.
  • मायक्रो-टेन्सर स्केलिंगने (NVFP4) FP4ची डायनॅमिक रेंज सोडवणे. प्रमाणित 4-bit संख्यांना फक्त 16 शक्य मूल्ये असतात, त्यामुळे न्यूरल अॅक्टिव्हेशनमध्ये अतिटोकाची अपवादात्मक संख्या आल्यास सहसा अचूकता नष्ट होते. Blackwell दोन-स्तरीय मायक्रो-स्केलिंग वापरून हे हार्डवेअरमध्ये सोडवते: मोठ्या मॅट्रिक्सला एक स्केलिंग गुणक लावण्याऐवजी Blackwell वेट्स आणि अॅक्टिव्हेशनचे 16 घटकांचे छोटे ब्लॉक बनवते आणि प्रत्येक छोट्या ब्लॉकला ग्लोबल FP32 टेन्सर स्केलसोबत स्वतःचा उच्च-अचूकता FP8 स्केलिंग गुणक देते.
  • हार्डवेअर-त्वरित क्वांटायझेशन. Transformer Engine प्रत्येक लेयरनुसार टेन्सर रेंज गतिशीलपणे तपासते आणि मेमरीची अतिरिक्त ये-जा न करता थेट Tensor Core पाइपलाइनमध्ये FP16/BF16, FP8 आणि NVFP4 यांच्यात मूल्यांचे रूपांतर करते.

अधिक बातम्या: एआय आणि तंत्रज्ञान