दीपसेक की सामर्थ्य एक मिथक है: क्रांतिकारी एआई वास्तव में विकसित करने के लिए $ 1.6 बिलियन का खर्च आता है

दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, जल्दी से एक प्रमुख बाजार खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है। इसकी सफलता एक अद्वितीय वास्तुकला और प्रशिक्षण पद्धति से उपजी है, जिसमें कई नवीन तकनीकों को शामिल किया गया है।

मल्टी-टोकन भविष्यवाणी (एमटीपी): पारंपरिक शब्द-दर-शब्द भविष्यवाणी के विपरीत, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, बेहतर सटीकता और दक्षता के लिए विभिन्न वाक्य भागों का विश्लेषण करता है।

विशेषज्ञों का मिश्रण (एमओई): यह आर्किटेक्चर इनपुट डेटा को संसाधित करने, एआई प्रशिक्षण को तेज करने और प्रदर्शन को बढ़ाने के लिए कई तंत्रिका नेटवर्क का उपयोग करता है। दीपसेक वी 3 256 तंत्रिका नेटवर्क को नियुक्त करता है, प्रत्येक टोकन प्रसंस्करण कार्य के लिए आठ को सक्रिय करता है।

मल्टी-हेड लेटेंट ध्यान (एमएलए): यह तंत्र महत्वपूर्ण वाक्य तत्वों पर ध्यान केंद्रित करता है, बार-बार सूचना हानि को कम करने और सूक्ष्म बारीकियों को कैप्चर करने के लिए पाठ के टुकड़ों से महत्वपूर्ण विवरण निकालता है।

दीपसेक ने शुरू में 2048 जीपीयू का उपयोग करके अपने शक्तिशाली डीपसेक वी 3 न्यूरल नेटवर्क को केवल $ 6 मिलियन के लिए प्रशिक्षित करने का दावा किया था। हालांकि, सेमियालिसिस ने कहीं अधिक पर्याप्त बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू, जिसमें 10,000 H800s, 10,000 H100, और अतिरिक्त H20 GPU शामिल हैं, कई डेटा केंद्रों में फैले। यह लगभग $ 1.6 बिलियन के कुल सर्वर निवेश का प्रतिनिधित्व करता है, जिसमें परिचालन खर्च $ 944 मिलियन का अनुमान है।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, जो एआई मॉडल अनुकूलन और तेजी से नवाचार कार्यान्वयन पर पूर्ण नियंत्रण प्रदान करता है। यह स्व-वित्त पोषित दृष्टिकोण लचीलापन और निर्णय लेने की गति को बढ़ाता है। कंपनी शीर्ष प्रतिभाओं को भी आकर्षित करती है, कुछ शोधकर्ताओं ने सालाना 1.3 मिलियन डॉलर से अधिक की कमाई की, मुख्य रूप से प्रमुख चीनी विश्वविद्यालयों से भर्ती किया।

जबकि दीपसेक के शुरुआती $ 6 मिलियन प्रशिक्षण लागत का दावा अवास्तविक लगता है-केवल जीपीयू उपयोग को पूर्व-प्रशिक्षण के लिए और अन्य खर्चों को छोड़कर-कंपनी ने एआई विकास में $ 500 मिलियन से अधिक का निवेश किया है। इसकी कॉम्पैक्ट संरचना कुशल नवाचार कार्यान्वयन के लिए अनुमति देती है, बड़े निगमों की नौकरशाही के साथ विपरीत।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनियों की क्षमता को प्रदर्शित करती है। जबकि इसके "क्रांतिकारी बजट" के दावे अतिरंजित हैं, निवेश में इसके अरबों, तकनीकी सफलताओं और मजबूत टीम इसकी सफलता में निर्विवाद कारक हैं। प्रतियोगी लागतों पर विचार करते समय इसके विपरीत हड़ताली है; दीपसेक ने R1 पर $ 5 मिलियन खर्च किए, जबकि CHATGPT4 की लागत $ 100 मिलियन है। महत्वपूर्ण निवेश के बावजूद, डीपसेक की लागत अपने प्रतिद्वंद्वियों की तुलना में काफी कम है।