ความสามารถในการจ่ายของ Deepseek เป็นตำนาน: AI ปฏิวัติจริง ๆ แล้วมีค่าใช้จ่าย 1.6 พันล้านเหรียญสหรัฐในการพัฒนา

Chatbot ใหม่ของ Deepseek มีการแนะนำที่น่าประทับใจ: "สวัสดีฉันถูกสร้างขึ้นเพื่อให้คุณสามารถถามอะไรก็ได้และรับคำตอบที่อาจทำให้คุณประหลาดใจ" AI นี้ซึ่งเป็นผลิตภัณฑ์ของ Deepseek เริ่มต้นของจีนได้กลายเป็นผู้เล่นในตลาดรายใหญ่อย่างรวดเร็วแม้กระทั่งมีส่วนทำให้ราคาหุ้นของ Nvidia ลดลงอย่างมีนัยสำคัญ ความสำเร็จของมันเกิดจากสถาปัตยกรรมที่เป็นเอกลักษณ์และวิธีการฝึกอบรมโดยผสมผสานเทคโนโลยีนวัตกรรมหลายอย่าง

การทำนายแบบมัลติเทน (MTP): ซึ่งแตกต่างจากการทำนายคำต่อคำแบบดั้งเดิม MTP คาดการณ์หลายคำพร้อมกันวิเคราะห์ชิ้นส่วนประโยคที่แตกต่างกันเพื่อปรับปรุงความแม่นยำและประสิทธิภาพ

ส่วนผสมของผู้เชี่ยวชาญ (MOE): สถาปัตยกรรมนี้ใช้เครือข่ายประสาทหลายแห่งเพื่อประมวลผลข้อมูลอินพุตเร่งการฝึกอบรม AI และเพิ่มประสิทธิภาพ Deepseek V3 มีเครือข่ายประสาท 256 เครือข่ายเปิดใช้งานแปดสำหรับงานประมวลผลโทเค็นแต่ละงาน

ความสนใจแฝงหลายหัว (MLA): กลไกนี้มุ่งเน้นไปที่องค์ประกอบประโยคที่สำคัญการสกัดรายละเอียดสำคัญซ้ำ ๆ จากชิ้นส่วนข้อความเพื่อลดการสูญเสียข้อมูลและจับความแตกต่างเล็กน้อย

Deepseek เริ่มแรกอ้างว่าได้ฝึกอบรมเครือข่ายประสาท Deepseek V3 ที่ทรงพลังในราคาเพียง 6 ล้านเหรียญสหรัฐโดยใช้ GPU ในปี 2048 อย่างไรก็ตาม Semianalysis เปิดเผยโครงสร้างพื้นฐานที่สำคัญยิ่งกว่า: ประมาณ 50,000 Nvidia Hopper GPU รวมถึง 10,000 H800s, 10,000 H100s และ H20 GPU เพิ่มเติมแพร่กระจายไปทั่วศูนย์ข้อมูลหลายแห่ง สิ่งนี้แสดงให้เห็นถึงการลงทุนเซิร์ฟเวอร์รวมประมาณ 1.6 พันล้านดอลลาร์โดยมีค่าใช้จ่ายในการดำเนินงานอยู่ที่ 944 ล้านดอลลาร์

Deepseek ซึ่งเป็น บริษัท ในเครือของกองทุนป้องกันความเสี่ยงของจีนที่มีการบินสูงเป็นเจ้าของศูนย์ข้อมูลให้การควบคุมการเพิ่มประสิทธิภาพแบบจำลอง AI อย่างสมบูรณ์และการใช้นวัตกรรมที่เร็วขึ้น วิธีการที่ได้รับทุนด้วยตนเองนี้ช่วยเพิ่มความยืดหยุ่นและความเร็วในการตัดสินใจ บริษัท ยังดึงดูดความสามารถสูงสุดโดยนักวิจัยบางคนมีรายได้มากกว่า $ 1.3 ล้านต่อปีโดยส่วนใหญ่การสรรหาจากมหาวิทยาลัยชั้นนำของจีน

ในขณะที่การเรียกร้องค่าใช้จ่ายในการฝึกอบรมค่าใช้จ่ายเริ่มต้นของ Deepseek $ 6 ล้านดูเหมือนจะไม่สมจริง-อ้างอิงเฉพาะการใช้งานการใช้ GPU ล่วงหน้าและไม่รวมค่าใช้จ่ายอื่น ๆ-บริษัท ได้ลงทุนมากกว่า 500 ล้านดอลลาร์ในการพัฒนา AI โครงสร้างขนาดกะทัดรัดช่วยให้การใช้นวัตกรรมมีประสิทธิภาพตรงกันข้ามกับระบบราชการของ บริษัท ขนาดใหญ่

ความสำเร็จของ Deepseek นำเสนอศักยภาพของ บริษัท AI อิสระที่ได้รับการสนับสนุนอย่างดีเพื่อแข่งขันกับยักษ์ใหญ่ในอุตสาหกรรม ในขณะที่การเรียกร้อง "งบประมาณปฏิวัติ" เกินจริงการลงทุนหลายพันล้านการลงทุนความก้าวหน้าทางเทคโนโลยีและทีมที่แข็งแกร่งเป็นปัจจัยที่ปฏิเสธไม่ได้ในความสำเร็จ ความแตกต่างนั้นโดดเด่นเมื่อพิจารณาค่าใช้จ่ายของคู่แข่ง Deepseek ใช้จ่าย $ 5 ล้านใน R1 ในขณะที่ CHATGPT4 มีราคา $ 100 ล้าน แม้จะมีการลงทุนที่สำคัญค่าใช้จ่ายของ Deepseek ยังคงต่ำกว่าคู่แข่งอย่างมีนัยสำคัญ