Nieuw onderzoek: Prompten wordt minder belangrijk

Afgelopen week betrapte ik mezelf erop dat ik vijf keer dezelfde vraag aan ChatGPT stelde. Elke keer net iets anders geformuleerd, hopend op een beter antwoord.

Herkenbaar?

Toen stuitte ik op een tweet van Ethan Mollick (schrijver van het boek co-intelligence, dat in Nederland door Alexander Klöpping wordt uitgegeven)

Hij beschreef nieuw onderzoek dat mijn kijk op prompten veranderde.

Het blijkt dat we onze tijd verspillen - en dat geldt waarschijnlijk ook voor jou.

Maar niet altijd.. Ik leg het uit.

Het Einde van Prompt Engineering?

Weet je nog toen we dachten dat het perfect formuleren van prompts de sleutel was tot succes met AI? Ik wel.

Tijdens mijn kennissessies besteed ik veel tijd aan het uitleggen van de perfecte promptingtechnieken.

Maar er is iets interessants aan de hand. Onderzoekers hebben recent met behulp van een framework genaamd ProSA duizenden verschillende prompts getest op AI-modellen. De resultaten zijn verrassend.

Voor de meeste dagelijkse zakelijke vragen geven de nieuwste AI-modellen consistente antwoorden, ongeacht hoe je het vraagt.

Het tijdperk van het uit je hoofd leren van promptsjablonen loopt ten einde - althans, voor basistaken.

Wanneer prompting nog steeds belangrijk is

Wanneer we met het team van NinA AI een custom AI oplossing bouwen met bijvoorbeeld Microsoft Copilot Studio, maakte de exacte formulering van de prompt een enorm verschil in de kwaliteit van de output. Dat zien we iedere keer weer.

Het onderzoek bevestigt dit: technische taken zoals coderen, datavisualisatie en algoritmische problemen hebben nog steeds baat bij zorgvuldige prompt engineering.

Dus dat blijft een super belangrijk onderdeel van AI-implementaties voor bedrijven.

De nieuwe promptstrategie

Uit het onderzoek blijkt dat het vertrouwen van het model in het onderwerp direct correleert met consistente antwoorden over verschillende prompts heen.

In de praktijk betekent dit dat je bij:

• Expert technische begeleiding

• IT probleemoplossing

• Business oplossingen

Nauwelijks verschil ziet in antwoorden, ongeacht hoe je de vraag stelt.

Echter bij:

• Technische codering en datavisualisatie

• Algoritmische probleemoplossing

• Programmeer- en scripttaken

Maakt de formulering van je prompt nog steeds een significant verschil in de kwaliteit van het antwoord.

Conclusie

Dit onderzoek laat zien dat we bij grote taalmodellen zoals GPT voor dagelijkse vragen kunnen stoppen met het perfectioneren van prompts.

Focus je energie op de taken waar precieze prompting nog wel verschil maakt, zoals creatief werk of gespecialiseerde technische verzoeken.

Pro tip: Beoordeel het vertrouwen van het AI-model in elk onderwerp. Bij hoog vertrouwen zijn de antwoorden opmerkelijk consistent, ongeacht de formulering. Bij lager vertrouwen is dat het moment om je prompt aan te passen.

Wat is jouw ervaring? Merk je verschil in antwoorden bij verschillende formuleringen van dezelfde vraag?

P.s. knijp me even!

De 28ste organiseren we met NinA AI een NinA AI Live sessie over AI Automation. Op locatie bij ons in Amsterdam.

En het ging razendsnel, binnen een week zitten we vol.

Althans, er is nog 1 plekje over. Met 20 deelnemers gaan we een middag aan de slag met AI. Zie ik je dan?

Tot de volgende,

Olaf Lemmens

P.S. Wil je meer weten over hoe je AI effectief kunt inzetten in jouw bedrijf? Kijk eens op: https://www.nina-ai.nl

Of laten we online kennismaken: https://tidycal.com/olaf/kennismaking-30-minuten-olaf