De betaalbaarheid van Deepseek is een mythe: de revolutionaire AI kostte eigenlijk $ 1,6 miljard om te ontwikkelen

De nieuwe Chatbot van Deepseek heeft een indrukwekkende introductie: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs zou verrassen." Deze AI, een product van de Chinese startup Deepseek, is snel een belangrijke marktspeler geworden en heeft zelfs bijgedragen aan een aanzienlijke daling van de aandelenkoers van Nvidia. Het succes ervan komt voort uit een unieke architectuur- en trainingsmethode, met verschillende innovatieve technologieën.

Multi-Token Prediction (MTP): in tegenstelling tot traditionele voorspelling van het woord voor woord voorspelt MTP meerdere woorden tegelijkertijd en analyseert MTP verschillende zinsdelen voor verbeterde nauwkeurigheid en efficiëntie.

Mix van experts (MOE): deze architectuur maakt gebruik van meerdere neurale netwerken om invoergegevens te verwerken, AI -training te versnellen en de prestaties te verbeteren. Deepseek V3 gebruikt 256 neurale netwerken en activeert acht voor elke tokenverwerkingstaak.

Multi-head latente aandacht (MLA): dit mechanisme richt zich op cruciale zinselementen, die herhaaldelijk belangrijke details uit tekstfragmenten extraheren om informatieverlies te minimaliseren en subtiele nuances vast te leggen.

Deepseek beweerde aanvankelijk zijn krachtige Deepseek V3 -neurale netwerk te hebben getraind voor slechts $ 6 miljoen met behulp van 2048 GPU's. Semianyse onthulde echter een veel meer substantiële infrastructuur: ongeveer 50.000 Nvidia Hopper GPU's, waaronder 10.000 H800s, 10.000 H100s en extra H20 GPU's, verspreid over meerdere datacenters. Dit vertegenwoordigt een totale serverinvestering van ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen.

Deepseek, een dochteronderneming van het Chinese hedgefonds High Flyer, bezit zijn datacenters en biedt volledige controle over AI-modeloptimalisatie en snellere innovatie-implementatie. Deze zelf gefinancierde aanpak verbetert de flexibiliteit en de besluitvormingssnelheid. Het bedrijf trekt ook toptalent aan, met sommige onderzoekers die jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk werven van toonaangevende Chinese universiteiten.

Hoewel de initiële claim van DeepSeek's initiële $ 6 miljoen trainingskosten onrealistisch lijkt-alleen verwijzen naar het gebruik van GPU-gebruik voorafgaand aan de training en het uitsluiten van andere kosten-heeft het bedrijf meer dan $ 500 miljoen geïnvesteerd in AI-ontwikkeling. De compacte structuur maakt een efficiënte implementatie van innovatie mogelijk, in tegenstelling tot de bureaucratie van grotere bedrijven.

Het succes van Deepseek toont het potentieel van goed gefinancierde onafhankelijke AI-bedrijven om te concurreren met industriële reuzen. Hoewel de claims van de "revolutionaire budget" overdreven zijn, zijn haar miljarden investeringen, technologische doorbraken en een sterk team onmiskenbare factoren in het succes ervan. Het contrast is opvallend bij het overwegen van de kosten van concurrenten; Deepseek besteedde $ 5 miljoen aan R1, terwijl Chatgpt4 $ 100 miljoen kostte. Ondanks de aanzienlijke investering blijven de kosten van Deepseek aanzienlijk lager dan zijn concurrenten.