OpenAI krijgt er een open source concurrent bij

Tijdens een live event bevestigde Meta (ja die van Facebook en Instagram) dat volgende maand hun nieuwste taalmodel uit komt: Llama 3.

Dit model zou de directe confrontatie met GPT-4 aangaan van OpenAI.

De details over Llama 3

• Meta zal gedurende het jaar verschillende versies van Llama 3 uitbrengen met verschillende capaciteiten — met de initiële release binnen de volgende maand.

• Het bedrijf heeft de grootte van de parameters die in Llama 3 worden gebruikt niet bekendgemaakt, maar het wordt verwacht dat het ongeveer 140 miljard parameters heeft en kan concurreren met OpenAI's GPT-4.

• Meta heeft eerder Llama 2 in drie groottes uitgebracht, waarbij de grootste 70B parameters had.

Meta heeft het afgelopen jaar 350.000 gewilde H100 GPU's verzameld om de AI-infrastructuur op te voeren, een voorraad die andere concurrenten ver achter zich laat.

Wat is Facebook Llama 3?

Facebook Llama 3 is de gespeculeerde naam voor de volgende versie van Facebooks grote taalmodel, Llama 2, dat in februari 2023 werd uitgebracht. Llama 2 is een krachtig en veelzijdig model dat een verscheidenheid aan taken op het gebied van natuurlijke taalverwerking kan uitvoeren, zoals tekstgeneratie, samenvatting, vertaling, het beantwoorden van vragen en meer. Het is ook in staat om afbeeldingen te genereren. Llama 2 is gratis beschikbaar voor onderzoek en commercieel gebruik en is door veel ontwikkelaars en organisaties gebruikt om innovatieve applicaties en diensten te bouwen.

Er wordt al langer gehint naar Llama 3. Zo plaatste Mark Zuckerberg, de CEO van Meta (voorheen Facebook), onlangs een video op zijn persoonlijke pagina waarin hij een voorproefje geeft van een nieuwe functie waarmee gebruikers 3D-avatars kunnen maken en delen met Llama 3. Hij noemde ook dat Llama 3 "het meest geavanceerde AI-systeem is dat we ooit hebben gebouwd", en dat het "een geheel nieuw niveau van creativiteit en expressie" zal mogelijk maken voor de Metaverse.

Llama 3 vs GPT-4

Llama 3 en GPT-4 vergelijken is niet eenvoudig, allereerst omdat Llama 3 nog niet op de markt is, maar ook aangezien het beide zeer complexe en krachtige systemen zijn die verschillende sterke en zwakke punten hebben. Echter, op basis van de beschikbare informatie, kunnen we enkele algemene observaties maken:

• Llama 3 en GPT-4 zijn beide grote multimodale modellen, maar ze kunnen verschillende architecturen en trainingsmethoden hebben. Llama 2 is gebaseerd op de Transformer-XL-architectuur, die het in staat stelt om langere contexten en sequenties te hanteren dan de standaard Transformer-architectuur gebruikt door GPT-3.5. GPT-4 is gebaseerd op de GPT-architectuur, die een variant is van de Transformer-architectuur, maar het kan enkele aanpassingen en verbeteringen hebben ten opzichte van GPT-3.5. Het wordt ook getraind met zelfgestuurd leren, met alleen niet-gelabelde gegevens, maar het integreert meer menselijke feedback van ChatGPT-gebruikers en experts.

• Llama 3 en GPT-4 zijn beide zeer grote modellen, maar ze kunnen verschillende groottes en capaciteiten hebben. De verwachting is dus dat Llama 3 140 miljard parameters heeft, wat het aantal aanpasbare gewichten is dat het gedrag van het model bepaalt. GPT-4 heeft 200 miljard parameters, wat dus nog steeds een stuk meer is. Echter, het aantal parameters is niet de enige factor die de prestaties van het model bepaalt. Daarom is het niet duidelijk hoeveel voordeel GPT-4 heeft over Llama 3 in termen van grootte en capaciteit.

• Llama 3 en GPT-4 zijn beide zeer capabele modellen, maar ze zijn ander benaderbaar. Llama 3 is een open source model en is iets ingewikkelder te gebruiken als “normale” gebruiker. Waar je bij GPT-4 via ChatGPT een directe interface hebt om in te werken.

Welk taalmodel moet ik kiezen?

Een vraag die ik vaak krijg tijdens strategiesessies: “Olaf, welk taalmodel moeten we kiezen”. Dit is direct een goed startpunt, want maak daar een keuze in. Als het gaat om persoonlijk gebruik op de werkvloer gaat de voorkeur meestal uit naar ChatGPT, Microsoft CoPilot of Google Gemini. Ook perplexity is een goede aanvulling als je veel met bronnen wil werken. En het is afhankelijk waar jij als organisatie nu al mee werkt. Verder verschillen deze taalmodellen niet heel veel, het gaat er met name om hoe je het gebruikt, want je haalt er waarschijnlijk niet het maximale uit!

Als het gaat om dingen bouwen voor complexere processen gaan we samen kijken met welke modellen we het beste koppelingen kunnen maken. Daar hoef jij je hoofd dan niet over te breken maar dat doe je samen met een van onze AI consultants!

Conclusie

Al met al kijk ik als AI nerd natuurlijk uit naar het nieuwe model en ga ik deze zeker testen. Dat Meta een open source model bouwt is opvallend maar geeft ze ook veel meer slagkracht, er gaan namelijk veel developers dingen bouwen bovenop het Llama model.

Benieuwd of ze een ChatGPT achtige omgeving gaan aanbieden met een abonnement-model. We gaan het zien. Er zullen sowieso interessante use-cases uit gaan rollen die voor mijn klanten waardevol kunnen zijn.

Zelf meer AI kennis op doen of AI implementeren?

Mijn agenda voor april zit bomvol inspirerende AI kennissessies, workshops en AI Officer meetings. In mei heb ik echter nog wat ruimte. Dus mogelijk wil jij die vullen voor een sessie voor jouw team! Of de mouwen opstropen en aan de slag met interessante AI use cases. Kijk snel op www.nina-ai.nl 

Tot de volgende!

Groet,
Olaf Lemmens