Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал основным игроком на рынке, даже способствуя значительному снижению цены акций Nvidia. Его успех проистекает из уникальной методологии архитектуры и обучения, включающей несколько инновационных технологий.

Multi-Token Production (MTP): в отличие от традиционного прогнозирования слов за словесным, MTP прогнозирует несколько слов одновременно, анализируя различные части предложений для повышения точности и эффективности.

Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей для обработки входных данных, ускорения обучения ИИ и повышения производительности. DeepSeek V3 использует 256 нейронных сетей, активируя восемь для каждой задачи обработки токенов.

Многопогодное скрытое внимание (MLA): этот механизм фокусируется на важных элементах предложения, неоднократно извлекая ключевые детали из фрагментов текста, чтобы минимизировать потерю информации и захватить тонкие нюансы.

Первоначально DeepSeek утверждал, что обучил свою мощную нейронную сеть Deepseek V3 всего за 6 миллионов долларов, используя 2048 графических процессоров. Тем не менее, полуанализа выявил гораздо более существенную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia, включая 10 000 H800, 10 000 H100 и дополнительные графические процессоры H20, распространяющиеся по нескольким центрам обработки данных. Это составляет общие инвестиции в сервер в размере примерно 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.

Deepseek, дочерняя компания Hege-Fund Fund китайского хедж-фонда, владеет своими центрами обработки данных, обеспечивая полный контроль над оптимизацией модели искусственного интеллекта и более быстрой реализации инноваций. Этот самофинансируемый подход повышает гибкость и скорость принятия решений. Компания также привлекает лучших талантов, а некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в первую очередь, набираясь ведущие из ведущих китайских университетов.

Несмотря на то, что первоначальная требование Deepseek в 6 миллионов долларов США кажется нереалистичным, что только предназначено для предварительного обучения графического процессора и за исключением других расходов, компания инвестировала более 500 миллионов долларов в разработку ИИ. Его компактная структура обеспечивает эффективную инновационную реализацию, в отличие от бюрократии более крупных корпораций.

Успех DeepSeek демонстрирует потенциал хорошо финансируемых независимых компаний по искусственному ИИ, чтобы конкурировать с отраслевыми гигантами. В то время как его «революционный бюджет» преувеличен, его миллиарды инвестиций, технологические прорывы и сильная команда являются неоспоримыми факторами в его успехе. Контраст поразителен при рассмотрении расходов на конкуренцию; DeepSeek потратил 5 миллионов долларов на R1, а Chatgpt4 стоил 100 миллионов долларов. Несмотря на значительные инвестиции, затраты DeepSeek остаются значительно ниже, чем у его конкурентов.