A acessibilidade do Deepseek é um mito: a IA revolucionária realmente custou US $ 1,6 bilhão para se desenvolver

O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Essa IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um dos principais players de mercado, contribuindo para uma queda significativa no preço das ações da Nvidia. Seu sucesso decorre de uma metodologia única de arquitetura e treinamento, incorporando várias tecnologias inovadoras.

Previsão de vários toques (MTP): Ao contrário da previsão tradicional de palavra por palavra, o MTP prevê várias palavras simultaneamente, analisando diferentes peças de sentença para maior precisão e eficiência.

Mistura de especialistas (MOE): Esta arquitetura utiliza várias redes neurais para processar dados de entrada, acelerando o treinamento de IA e aprimorando o desempenho. A Deepseek V3 emprega 256 redes neurais, ativando oito para cada tarefa de processamento de token.

Atenção latente de várias cabeças (MLA): Esse mecanismo se concentra nos elementos cruciais da frase, extraindo repetidamente os principais detalhes dos fragmentos de texto para minimizar a perda de informações e capturar nuances sutis.

A Deepseek alegou inicialmente ter treinado sua poderosa rede neural Deepseek V3 por meros US $ 6 milhões usando 2048 GPUs. No entanto, a semiânica revelou uma infraestrutura muito mais substancial: aproximadamente 50.000 GPUs NVIDIA Hopper, incluindo 10.000 H800s, 10.000 H100s e GPUs H20 adicionais, espalhados por vários data centers. Isso representa um investimento total do servidor de aproximadamente US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.

A Deepseek, uma subsidiária do fundo de hedge chinês, possui seus data centers, fornecendo controle completo sobre a otimização do modelo de IA e implementação mais rápida da inovação. Essa abordagem autofinanciada aumenta a flexibilidade e a velocidade de tomada de decisão. A empresa também atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, recrutando principalmente das principais universidades chinesas.

Embora a reivindicação inicial de custo de treinamento de US $ 6 milhões da DeepSeek pareça irrealista-referindo-se apenas para pré-treinamento de uso da GPU e excluir outras despesas-a empresa investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura compacta permite implementação eficiente de inovação, contrastando com a burocracia de empresas maiores.

O sucesso da Deepseek mostra o potencial de empresas independentes de IA bem financiadas para competir com os gigantes do setor. Embora suas reivindicações de "orçamento revolucionário" sejam exageradas, seus bilhões de investimentos, avanços tecnológicos e equipes fortes são fatores inegáveis ​​em seu sucesso. O contraste é impressionante ao considerar os custos dos concorrentes; A Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4 custou US $ 100 milhões. Apesar do investimento significativo, os custos da Deepseek permanecem significativamente menores que seus concorrentes.