Lennert Malfait

Wat ontbrak er in mijn context?

Mijn eerste prompt had de vier labels en een vaste JSON-uitvoer, maar nog te weinig uitleg over de grenzen tussen die labels. Vooral bij doen en lezen kon het model een aanbeveling verwarren met een verplichte actie. De e-mail over een laptop meenemen was daarvan een goed voorbeeld. Er stond dat het “handig” zou zijn om een laptop mee te brengen, maar ook dat studenten zonder laptop de oefening per twee konden doen. Ik verwachtte dus lezen: de mail is nuttig, maar ik moet niets verplicht doen. Toch antwoordde de tool doen.

Bij de audit zag ik ook dat mijn prompt voorbeelden en een duidelijke uitweg voor onduidelijke e-mails miste. Daarom maakte ik v2 met een reden bij de Canvas-regel, een regel om niet te gokken wanneer een e-mail te weinig informatie bevat, en voorbeelden van de verschillende labels.

Mijn eerste cijfer

Ik testte tien inputs, telkens één keer in een nieuw ChatGPT-gesprek en zonder web search. Negen antwoorden waren juist: 9 op 10 juist (n = 10, 1 run). De enige fout was T01. Dit is F1: de tool gaf met overtuiging doen, terwijl het juiste label lezen was. Ik had geen F2-, F3-, F4-, F5- of F6-fouten in deze eerste run.

De testset bevat een duplicate, een routine Canvas-rapport, een Engelse mail, een zeer korte mail, een reclamebericht en schoolcommunicatie met een deadline. Zo test ik niet alleen makkelijke schoolmails. Alle tien inputs zijn echte e-mails, geanonimiseerd voor de publieke repository.

Eén wijziging

Ik veranderde één onderdeel in v3: een mail met alleen een aanbeveling én een expliciet alternatief moet lezen krijgen. Ik zette er ook een voorbeeld bij. Het waarom is dat Lennert dan wel geïnformeerd wordt, maar niet verplicht is om te handelen.

Daarna draaide ik alleen de foute input T01 opnieuw in een nieuw gesprek. De tool antwoordde nu lezen: 1 op 1 juist (n = 1, 1 run). Dat is een goed teken, maar nog geen bewijs. Ik testte slechts één fout en slechts één nieuwe run. In week 4 moet ik meer echte voorbeelden en een tweede run gebruiken om te zien of de verbetering stabiel blijft.

Wat bouw ik?

Ik bouw een tool die mijn e-mails indeelt in vier categorieën: doen, lezen, negeren en herhaling. Ik geef een e-mail in en de tool bepaalt in welke categorie die hoort. Zo zie ik sneller welke mails actie vragen, welke ik enkel moet lezen en welke ik kan negeren.

Waarom een taalmodel?

Ik gebruik een taalmodel omdat e-mails in gewone taal geschreven zijn en op veel verschillende manieren kunnen zeggen dat er actie nodig is. Het taalmodel kan de betekenis van de mail begrijpen en daarna één van de vier vaste categorieën kiezen. Daardoor kan ik de uitkomst ook gemakkelijk controleren.

Eén testinput

Ik testte een e-mail over het controleren van mijn studieprogramma. Het juiste antwoord was doen, omdat in de mail stond dat ik zo snel mogelijk actie moest ondernemen via het platform.

De tool gaf ook doen als antwoord, zowel in de eerste als in de tweede test. Daardoor was dit voorbeeld correct.

Wat heb ik tot nu toe met AI gedaan?

Voor deze cursus gebruikte ik AI vooral om mij te helpen met schooltaken. Ik gebruik ChatGPT bijvoorbeeld om mails op te stellen, samenvattingen te maken, flashcards te maken en quizzen te oefenen. Soms gebruik ik AI ook om foto's te bewerken. Meestal stel ik gewoon een vraag en gebruik ik het antwoord als hulp om verder te kunnen.

Wat verraste me vandaag?

Ik dacht eerst dat het vooral een kwestie was van AI iets vragen en een antwoord krijgen. Vandaag merkte ik dat het complexer is en dat je er zelf ook echt werk in moet steken. Je moet bijvoorbeeld nadenken over wat je precies wil doen, controleren of het antwoord klopt en alles goed instellen. Tegelijk heb ik ontdekt hoeveel AI kan doen, bijvoorbeeld een tool helpen bouwen die e-mails indeelt.

Welke richting wil ik uit?

Ik wil AI gebruiken voor de optimalisatie en automatisering van taken, informatie en planning in het dagelijkse leven en later in een werkomgeving.