DeepSeek: AI som en tidsalder med aktivering og disruption - Udfordring af hardwaremarkedsantagelser og skaleringslove

En ny æra inden for AI

Alle inden for teknologi og endda sociale medier taler om DeepSeek. Markederne reagerede øjeblikkeligt, hvor Nvidia tog et spring sammen med andre, hvilket resulterede i det højeste tab på en enkelt dag af noget amerikansk selskab i historien, hvilket slettede næsten 600 milliarder dollars i markedsværdi. Hvad er de underliggende årsager? Hvad betyder dette for fremtiden for AI-hardware og -software og store amerikanske investeringer i hardware gennem CHIPS Act? Hvad betyder det for PhysicalAI - selvom det er et nyt buzzword for nordstjernen inden for AI-fremskridt?

Tilfældigvis for blot et par dage siden, ved en frokostsammenkomst med præsident Mung Chiang, stillede jeg et scenarie: Amerikanske hardwareinvesteringer kunne blive udfordret af disruptive ideer og innovationer. Og som ved forudanelse skete det. Mange forskningsprojekter inden for hardware bliver forstyrret af, at CHIPS er i stand til at designe CHIPS, hvilket reducerer afhængigheden af et stort antal hardwareingeniører. På samme måde kan store sprogmodeller (LLM'er) øger softwareproduktiviteten, men avancerede udviklere er stadig vigtige. Mens meget software nu skrives af LLM'er under programmørens tilsyn, laver eliteudviklere stadig betydelige dele af deres kode. Nu går vi ind i et nyt kapitel med disruptive teknologier, der udfordrer markedets antagelser om den fortsatte efterspørgsel efter højtydende hardware til AI's umættelige behov. AI ser ud til at forstyrre sig selv. Professor Anand Raghunathan fra Purdue University Elmore Family School of Electrical and Computer Engineering udtalte: "Industrien, Wall Street og forskere er ligeledes i en tilstand af chok over den seneste udvikling. Dette er et godt eksempel på sparsommelig begrænsningsdrevet innovation - nødvendighed er opfindelsens moder." Han tilføjede endvidere, at DeepSeek-innovation var en smart integration af velkendte paradigmer, en kombination af god teknik med velkendte paradigmer, som amerikanske forskere har offentliggjort, såsom reinforcement learning, modeldestillation og kvantisering.

Samspillet mellem software og hardware

Den accelererende hastighed i den teknologiske udvikling har skabt et dynamisk samspil mellem software- og hardwareinnovationer. Ingen steder er dette mere tydeligt end inden for kunstig intelligens (AI), hvor gennembrud inden for open source-modeller og softwarefunktioner udfordrer antagelser om hardwarebehov. Disse forstyrrelser fremhæver potentialet for, at open source AI ikke kun styrker innovation, men også underbyder traditionelle hardwaremarkeder, hvilket skaber ringvirkninger på tværs af brancher. Omvendt fortsætter fremskridt inden for hardware med at omdefinere, hvad software kan opnå, hvilket driver en konkurrencecyklus, der gavner forbrugerne og omformer teknologiens fremtid.

Hardwaredrevet fremskridt møder nye udfordringer

Historisk set har hardwarefremskridt gjort det muligt for software at nå nye højder. Moores lov, som forudsagde den eksponentielle stigning i transistortæthed, lagde grundlaget for årtiers softwareudvikling. Mere kraftfulde processorer, øget hukommelse og specialiseret hardware som GPU'er og TPU'er har gjort det muligt for AI-modeller at skalere i kompleksitet, hvilket har drevet gennembrud inden for områder som naturlig sprogbehandling, computersyn og autonome systemer. Virksomheder som Nvidia, AMD og Intel har opbygget blomstrende virksomheder ved at levere den hardware, der er nødvendig for at imødekomme AI's beregningskrav. Disse firmaer har investeret milliarder i at udvikle banebrydende chips, der er i stand til at understøtte massive træningsarbejdsbelastninger for store modeller som GPT-4 og DeepMinds AlphaFold.

Softwareeffektivitet forstyrrer hardwaredominans

De seneste fremskridt inden for AI-software udfordrer denne etablerede dynamik. Modeller som DeepSeek's R1, en open source-baseret kunstig intelligens, har vist, at højtydende kunstig intelligens kan opnås til en brøkdel af de omkostninger og beregningsressourcer, der tidligere blev anset for nødvendige. DeepSeek er udviklet på et rapporteret budget på 6 millioner dollars og udfordrer direkte branchens norm for milliardinvesteringer i hardware og software. Teknikker som f.eks. sparsom træning, kvantisering og destillation gør det muligt for AI-udviklere at bygge og køre modeller mere effektivt, hvilket reducerer afhængigheden af avancerede GPU'er og anden specialiseret hardware. Disse softwareinnovationer forstyrrer hardwaremarkedet ved at vise, hvordan avanceret AI kan blomstre med færre ressourcer, hvilket truer efterspørgslen efter premium hardware.

"Selvom DeepSeek's påstand afslører en betydelig brudlinje - hvilket tyder på, at de 2 kg hardware, der ofte udråbes af Nvidia til AI, måske ikke er nødvendige, og selv en Raspberry Pi kunne håndtere visse opgaver - mindsker det ikke det kritiske behov for innovation inden for hardware og dygtige ingeniører," sagde Muhammad Mustafa Hussain Professor Purdue University Elmore Family School of Electrical and Computer Engineering . En destilleret version af DeepSeek R1 er blevet rapporteret at køre på en Raspberry Pi og opnå 200 tokens i sekundet på en ikke-internetforbundet enhed med en mindre, destilleret model. "Her er den skjulte sandhed: hardwareinnovation vil ikke kun fortsætte, men skal blive endnu mere udtalt, efterhånden som AI udvikler sig til at blive mere kraftfuld og gennemgribende."

Omdefinering af skaleringslove i AI-udvikling

AI-skaleringslove er empiriske relationer, der beskriver, hvordan AI-modellers ydeevne forbedres, efterhånden som nøglefaktorer skaleres op. Disse faktorer omfatter typisk modelstørrelse (Antal parametre), datasætstørrelse og beregningsressourcer, der bruges til træning. OpenAI spillede en væsentlig rolle i formaliseringen og populariseringen af disse love. DeepSeek eksemplificerer, hvordan softwareinnovation kan omdefinere AI-landskabet og udfordre traditionelle skaleringslove. Professor Raghunathan sagde, at amerikanske virksomheder og forskere måske var alt for fokuserede på at forfølge skaleringslovene for AI, der udråbes af virksomheder som OpenAI. Faktisk var der blot tale om observationer baseret på de første tendenser i forskningen. I stedet for at holde fast i troen på, at større datasæt, flere beregningsressourcer og massive parametertal er forudsætninger for overlegen ydeevne, prioriterer DeepSeek optimering og effektivitet:

1. Udvalgte data over ren volumen: Fremhævelse af kuraterede datasæt af høj kvalitet frem for større, men mindre målrettede datasæt, hvilket øger dataeffektiviteten.
2. Strømlinede træningsprocesser: Avancerede teknikker såsom forstærkningslæring fra menneskelig feedback (RLHF) og selvspil bypass brute-force-metoder for at opnå maksimal ydeevne.
3. Effektiv implementering: Med sparsom aktivering og en blanding af eksperter (Moe) arkitektur, aktiverer DeepSeek kun de nødvendige parametre for hver opgave. Dette reducerer energiforbruget med 40 % og GPU-afhængigheden med 50 %, hvilket giver et skalerbart og bæredygtigt alternativ til traditionelle tætte modeller.

DeepSeeks AI-innovationer demonstrerer hidtil uset beregningseffektivitet, hvilket potentielt reducerer ressourcekravene til udvikling og implementering af AI-modeller på tværs af forskellige domæner. Ifølge Jevons-paradokset, som også er citeret af Microsofts administrerende direktør Satya Nedella, vil denne øgede effektivitet sandsynligvis dramatisk sænke adgangsbarriererne, hvilket gør det muligt for flere organisationer og enkeltpersoner at indføre og bruge AI-teknologier. Selv om individuelle AI-opgaver kan forbruge færre ressourcer, forventes det samlede forbrug og udbredelsen af AI derfor at stige eksponentielt, hvilket vil fremme bredere teknologisk innovation og tilgængelighed.

Det skiftende landskab for hardwareinnovation

Professor Hussain bemærkede også: "Hvis man ser nærmere på fordelingen af CHIPS Act-finansieringen, er den stærkt påvirket af de store virksomheders prioriteter. Der er en mærkbar mangel på innovation på komponentniveau, hvor det meste af fokus er på forskning på systemniveau – og ikke på at skabe nye systemer, men snarere på at fremme det, som disse virksomheder allerede prioriterer."

I mellemtiden reagerer virksomheder som Nvidia allerede med:

• Skræddersyede AI-chips Optimeret til specifikke arbejdsbelastninger.
• AI-accelereret hardwareudvikling for at strømline chipdesignprocesser.
• Edge AI-enheder , der bringer højtydende funktioner til miljøer med lavt strømforbrug.

Disse fremskridt kan omforme balancen endnu en gang og åbne nye markeder og samtidig opretholde efterspørgslen efter specialiserede komponenter.

DeepSeeks innovationer udfordrer traditionelle skaleringslove inden for AI-udvikling ved at demonstrere, at mindre skala, omkostningseffektive modeller kan opnå konkurrencedygtige præstationer. Dette kan forstyrre eksisterende forretningsmodeller, der er afhængige af store infrastrukturinvesteringer.

Sammenfattende, mens investeringen har til formål at sikre USA's lederskab inden for AI og drive innovation, står den over for betydelige risici relateret til økonomisk gennemførlighed, energiefterspørgsel, markedsvolatilitet, sociale konsekvenser og lovgivningsmæssige forhindringer. Disse risici forværres yderligere af disruptive innovationer som DeepSeek's omkostningseffektive tilgang til AI-udvikling.

OpenAI, Microsoft og atomkraftparadigmet

Project Stargate, der blev annonceret den 21. januar 2025, er et privat investeringsinitiativ på 500 milliarder dollars ledet af OpenAI, SoftBank, Oracle og andre teknologigiganter for at opbygge massiv AI-infrastruktur i hele USA. Projektet har til formål at sikre amerikansk lederskab inden for AI-teknologi, skabe hundredtusindvis af job og give strategiske muligheder for national sikkerhed ved at konstruere store datacentre, der er optimeret til AI-arbejdsbelastninger. På trods af dets ambitiøse mål og højt profilerede støtter, herunder præsident Trumps godkendelse, vil projektet blive undersøgt med hensyn til dets økonomiske gennemførlighed, især i lyset af nylige innovationer som DeepSeek, der udfordrer traditionelle AI-skaleringsantagelser.

En anonym Microsoft-medarbejder fremhævede driftsmæssige udfordringer, der stammer fra OpenAI's enorme beregningskrav: "På et tidspunkt kunne medarbejderne ikke få en avanceret GPU på Azure, fordi de alle blev brugt til OpenAI. Det er alt sammen sindssygt bare at skrive din semesteropgave eller hjælpe med at færdiggøre koden." Medarbejderen bemærkede endvidere, at mens DeepSeek har forstyrret OpenAI's føring, kunne sidstnævnte replikere disse fremskridt hurtigt på grund af sin massive beregningsfordel (Anonym, personlig meddelelse, 25. januar 2025).  Hvis DeepSeeks omkostningseffektive AI-modeller vinder udbredt udbredelse, kan efterspørgslen efter banebrydende AI-infrastruktur falde, hvilket fører til overkapacitet i datacentre og halvlederproduktion. Goldman Sachs har udtrykt bekymring for, om sådanne massive investeringer kan retfærdiggøres, uden at der dukker klare, transformative AI-applikationer op på kort sigt.

Balance mellem samarbejde og konkurrence inden for open source AI

DeepSeek's fremkomst har accelereret innovation, hvor open source-udvikling i stigende grad tager føringen. "Jeg forventer, at OpenAI's føring er væk, men de vil kopiere forskningen, og måske vil deres teams intuition bringe større fremskridt," bemærkede en højteknologisk medarbejder (Anonym, personlig meddelelse, 25. januar 2025).

Fremkomsten af open source AI-modeller som DeepSeek illustrerer paradokset ved open source-udvikling. Mens åbne rammer fremskynder innovation, udstyrer de også konkurrenter med værktøjer til at udfordre markedsledere. Denne dynamik tilføjer kompleksitet til det hurtigt udviklende AI-økosystem, hvor samarbejde og konkurrence er dybt sammenflettet.

Konklusion: Navigering i fremtiden for AI-innovation

Spændingen mellem software- og hardwareinnovation vil fortsætte med at forme AI-landskabet. Efterhånden som softwarefremskridt udfordrer hardwarens dominans, vil virksomheder blive tvunget til at innovere hurtigere og smartere. Samtidig vil hardwaregennembrud omdefinere softwarens muligheder og give næring til endnu en udviklingscyklus. For forbrugere og industrier låser denne konkurrence op for hidtil usete muligheder på tværs af forskellige domæner. Rollen af open source-modeller som DeepSeek fremhæver dog, hvordan open source-modeller kan give næring til forstyrrelser. I denne æra med transformative forandringer vil tilpasningsevne og samarbejde på tværs af domæner afgøre morgendagens ledere.

Ansvarsfraskrivelse:

De synspunkter, meninger og fortolkninger, der udtrykkes i denne artikel, er udelukkende forfatterens og eventuelle citerede personers synspunkter. De afspejler ikke de officielle politikker, holdninger eller godkendelser fra Purdue University eller nogen tilknyttede institutioner. Enhver omtale af forskning, projekter eller tilknytninger er kun til informationsformål og indebærer ikke institutionel godkendelse.