Techgiganten en startups stappen over op kleinere, efficiëntere AI-modellen omdat ze de kosten willen verlagen en de productiviteit willen verbeteren. Deze modellen kunnen, in tegenstelling tot hun ‘grote broers’ zoals GPT-4, worden getraind op een kleinere hoeveelheid data en zijn gespecialiseerd in het oplossen van specifieke problemen.
Microsoft, Google, Apple en startups als Mistral, Anthropic en Cohere wenden zich steeds meer tot kleine en middelgrote taalmodellen voor kunstmatige intelligentie. In tegenstelling tot grootschalige modellen (LLM's) zoals OpenAI's GPT-4, die meer dan een biljoen parameters gebruiken en ruim 100 miljoen dollar kosten om te ontwikkelen, worden compacte modellen getraind op kleinere datasets en kunnen ze minder dan 10 miljoen dollar kosten, waarbij ze minder dan 10 miljoen dollar gebruiken. XNUMX miljard parameters.
Microsoft, een van de leiders op het gebied van AI, introduceerde een familie van kleine modellen genaamd Phi. Volgens CEO Satya Nadella van het bedrijf zijn deze modellen 100 keer kleiner dan de gratis versie van ChatGPT, maar kunnen ze tegelijkertijd veel taken bijna net zo efficiënt uitvoeren. Yusuf Mehdi, Chief Commercial Officer bij Microsoft, merkte op dat het bedrijf al snel besefte dat het runnen van grote AI-modellen duurder was dan aanvankelijk werd gedacht, wat Microsoft ertoe aanzette op zoek te gaan naar kosteneffectievere oplossingen.
Ook andere techgiganten worden niet buiten beschouwing gelaten. Google, Apple, evenals Mistral, Anthropic en Cohere hebben hun eigen versies van kleine en middelgrote modellen uitgebracht. Vooral Apple is van plan dergelijke modellen te gebruiken om AI lokaal en rechtstreeks op smartphones uit te voeren, wat de snelheid en veiligheid zou moeten verbeteren. Tegelijkertijd zal het hulpbronnenverbruik op smartphones minimaal zijn.
Deskundigen merken op dat grote modellen voor veel taken, zoals het samenvatten van documenten of het maken van afbeeldingen, overkill kunnen zijn. Ilya Polosukhin, een van de auteurs van Google's baanbrekende artikel uit 2017 over kunstmatige intelligentie, vergeleek het gebruik van grote modellen voor eenvoudige taken figuurlijk met het besturen van een tank naar de supermarkt. “Voor het berekenen van 2+2 zouden geen biljoenen handelingen nodig zijn”, benadrukte hij.
Bedrijven en consumenten zijn ook op zoek naar manieren om de kosten van het gebruik van generatieve AI-technologieën te verlagen. Volgens Yoav Shoham, medeoprichter van het in Tel Aviv gevestigde AI-bedrijf AI21 Labs, kunnen kleine modellen, wanneer ze in geld worden vertaald, vragen beantwoorden voor slechts een zesde van de kosten van grote taalmodellen.
Interessant genoeg is het belangrijkste voordeel van kleine modellen de mogelijkheid om ze af te stemmen op specifieke taken en datasets. Hierdoor kunnen ze efficiënt opereren op gespecialiseerde gebieden tegen lagere kosten, zoals alleen in de juridische sector.
Experts merken echter op dat bedrijven niet van plan zijn om LLM volledig te laten vallen. Zo heeft Apple bijvoorbeeld de integratie van ChatGPT in Siri aangekondigd voor complexe taken, en is Microsoft van plan om het nieuwste model van OpenAI in een nieuwe versie te gebruiken. WindowsBedrijven zoals het Ierse Experian en het Amerikaanse Salesforce zijn al overgestapt op het gebruik van compacte AI-modellen voor chatbots en hebben ontdekt dat deze dezelfde prestaties leveren als grotere modellen, maar tegen aanzienlijk lagere kosten en met een lagere latentie bij de gegevensverwerking.
De verschuiving naar kleine modellen komt doordat de vooruitgang op het gebied van grote, openbaar beschikbare AI-modellen afneemt. Deskundigen schrijven dit toe aan een gebrek aan nieuwe trainingsgegevens van hoge kwaliteit en wijzen in het algemeen op een nieuwe en belangrijke fase in de evolutie van de industrie.
Bron:
Bron: 3dnews.ru
