Week 3 · Meten

Context engineering en testsets

Werkt het, en hoe weet ik dat?

Vandaag

Om 13:30 heb je

01Een taak in build/taak.md

02Een v1 met een context die jij schreef

03Tien testinputs, nagekeken door je buur

04Vijf runs, elke fout benoemd, een eerste cijfer

05Eén wijziging, en je fouten opnieuw gedraaid

Checkpoint

Klaar om te starten?

Hub
slides, uitleg, demowww.advancedai.wiki

Geselecteerd modelClaude Sonnet 5.5 · ChatGPT 6 Terra
Niet Fable of Astra!

10:35 · Je taak

Om 10:55 heeft iedereen een taak.

Alles vandaag draait op je eigen taak.

>_Terminal

10:35 · Je taak

Waar sta jij?

Nog geen taak/brainstorm wat ik bouw voor de cursus
Codex: $brainstorm wat ik bouw voor de cursus

Wel een taak"Maak een eerste versie van mijn taak in build/, op basis van taak.md." Lees de prompt.

Al een v1Schrijf je vijf lastige inputs.

Om 10:55 ligt je taak vast. Geen taak? De mailsorteerder uit de starterset.

10:35 · Al een v1 van vorige week?

Je vijf nieuwe inputs zijn de lastige.

01Een vage

02Een heel korte

03Een in een andere taal

04Een waar "ik weet het niet" het juiste antwoord is

10 op 10? Dan is je testset te makkelijk.

>_Terminal

Vastgelopen?

Vast? Haal de hulp in je context.

Lees ../../cursus/week-03/hulp/README.md en help me verder.

Je AI kijkt wat er al in build/ staat, zegt waar je zit, en helpt met de volgende stap.

Jij kiest wat je AI leest. Ook dat is context engineering.

10:55 · Wat je model ziet

Wat weet het? Wat ziet het?

TrainingWat het model weet over de wereld. Vast, met een einddatum.

ContextWat het model ziet over jóuw taak. Wat jij erin zet, elke keer opnieuw.

Jouw regels zitten in jouw hoofd. Tot je ze opschrijft.

10:58 · Wat je model leest

Een model leest tokens.

Stukjes tekst. Geen letters, geen woorden.

Arteveldehogeschool

5 tokens

vrachtwagenchauffeur

5 tokens

Hallo

1 token

hallo

2 tokens

1.234.567,89

7 tokens

Nederlands: 1 woord ≈ 1,5 token.

11:01 · Wat je model ziet

Het contextvenster

CLAUDE.md / AGENTS.mdmet je context.md

Je promptrol, regels, voorbeelden

De inputéén mail, één bericht

Het gesprek tot nuelke vraag, elk antwoord

Het antwoordook dat telt mee

01Het model onthoudt niets. Bij elke vraag gaat het hele venster opnieuw mee.

02Nieuw gesprek = leeg venster.

03Groot, maar niet oneindig. Eén gesprek heeft één limiet, in tokens.

Daarom straks: één nieuw gesprek per input.

>_Terminal

11:05 · Demo

Eén gesprek, één limiet.

Claude Haiku 4.5
200.000 tokensHarry Potter 1 past.
Harry Potter 5 niet.

Claude Sonnet 5.5
1.000.000 tokensVier boeken passen.
De hele reeks niet.

GPT-5.6 Terra
1.050.000 tokensOngeveer hetzelfde.

Live: Sapiens in Opus 5.5

1× Sapiens38% van het venster

3× Sapienste lang

Prompt is too long
· the request is ~1.002.000 tokens
  (limit 1.000.000)

Demo · Dunne context

Een mail voor Sara.

Sorteer: doen, lezen of negeren.

doenlezennegeren

De mail

Onderwerp: Laatste kans: bevraging over je opleiding
Tekst: Beste student, de bevraging over je opleiding sluit vrijdag. Het invullen duurt 10 minuten. Alvast bedankt!

Wat kies jij?

Demo · Dunne context

Het model kent Sara niet.

Er staat een deadline in, dus het kiest doen of lezen.

Wat weet het model niet?

Wat het model zei

doen

4 van de 5 keer. Eén keer: lezen.

Demo · Rijke context

Zelfde mail. Nu met Sara's regels.

doenlezennegerenonzeker

En nu?

Wat erbij kwam

Sara's regels:
- "doen": een deadline die meetelt voor punten, een inschrijving, of een vraag van een docent of groepsgenoot.
- "lezen": nieuws over haar lessen, maar niets te doen.
- "negeren": bevragingen, enquêtes en nieuwsbrieven. Die zijn vrijblijvend, ook als er een deadline in staat.
- "onzeker": je kan niet kiezen zonder te gokken.

Demo · Rijke context

Het model werd niet slimmer.

Het kreeg Sara's regels. Antwoord: negeren, 5 op 5.

Kiezen wat het ziet, heet context engineering.

Context engineering

“The art of providing all the context for the task to be plausibly solvable by the LLM.”

Geef je model alles wat het nodig heeft om de taak op te lossen. — Tobi Lütke, CEO Shopify, 2025

Wat je model ziet

Te weinig is fout. Te veel ook.

Te weinig

Het gatWat er niet in staat, bestaat niet. Het model gokt.

Te veel

RuisElke extra zin trekt aandacht weg.

TegenspraakTwee regels botsen. Het model kiest er willekeurig één.

Doel: alles wat nodig is. Niets meer.

Je deed dit al

`context.md` = context engineering voor je agent.

Vandaag doe je het voor je tool.

11:20 · Zes bouwstenen

Zes bouwstenen van een goede context

1 · Rol en doelVoor wie werkt je tool, en waarvoor?

2 · Regels, met waaromOok de vanzelfsprekende. En wat hij níet mag gebruiken.

3 · Labels en vormWelke antwoorden mogen? In welke vorm?

4 · VoorbeeldenDrie tot vijf, zo verschillend mogelijk.

5 · Een uitwegWeet je het niet? Zeg dan onzeker.

6 · De inputAls laatste, duidelijk afgebakend.

Depot Noord · Dunne context

Hoe dringend?

Een bericht van een chauffeur. De planner moet kiezen.

normaalsnel nakijkendringend

Het bericht

Truck 12 hier. Bij het vertrekken hoorde ik een sissend geluid achteraan, aan de oplegger. Remmen lijken ok. Ik rij nu naar Antwerpen, nog 180 km.

Wat kies jij?

Depot Noord · Dunne context

Twee modellen, twee antwoorden.

Sonnetsnel nakijken · 2 van 2

Haiku · Codexdringend · 3 van 3

Het model gokt jouw regels.

Bouwsteen 2 · Regels

Schrijf je regels op.

Ook de regels die voor jou vanzelf spreken.

Wat het model zei

dringend

5 op 5, op elk model.

Wat erbij kwam

Regels van het depot:
- Alles met remmen, banden of luchtdruk is veiligheid. Veiligheid is altijd "dringend", ook als de chauffeur zegt dat het meevalt.
- Een defect en nog meer dan 100 km te rijden: minstens "snel nakijken".
- Comfort (radio, airco, zetel): "normaal".

Bouwsteen 4 · Voorbeelden

Toon wat je bedoelt.

Het label bleef dringend.

Voorbeelden tonen waar de grens ligt, en welke vorm je wil.

Wat erbij kwam

Voorbeelden:
Bericht: "Airco van truck 4 doet het niet meer." → normaal
Bericht: "Band rechtsachter lijkt zacht, truck 9." → dringend
Bericht: "Motorlampje brandt sinds vanmorgen, rijdt verder normaal. Nog 40 km." → snel nakijken

Bouwsteen 5 · Een uitweg

Welke truck? Wat is er mis?

Truck doet raar sinds de pauze.

Zonder uitweg

snel nakijken

5 op 5. Even zeker als bij een duidelijk bericht.

Bouwsteen 5 · Een uitweg

Met uitweg:

onzeker

5 op 5. Dan belt de planner de chauffeur.

- Weet je niet welke truck het is, of wat het probleem is? Antwoord "onzeker". Gok niet.

Bouwsteen 2 · Een goede regel

Een regel met een waarom.

Te vaag“Let op veiligheid.”
Wat is veiligheid? Het model gokt.

Te strak“Het woord ‘sissen’ is altijd dringend.”
En ‘de truck verliest lucht’?

Juist“Remmen, banden en luchtdruk zijn altijd dringend. Want de chauffeur kan onderweg niet zien of het meevalt.”

Met het waarom vangt je model ook de gevallen die jij niet bedacht.

>_Terminal

11:35 · v1

Jij schrijft de context.

01"Maak een eerste versie van mijn taak in build/, op basis van taak.md."

02Open de prompt. Lees hem. Dit is alles wat je model weet.

03De audit →

04Herschrijf één regel, met een want

05Start build/log.md en build/README.md

De audit

01Zet bij elke lijn een nummer: bouwsteen 1 tot 6

02Welk nummer ontbreekt?

03Schrijf het erbij. Met de hand.

12:10 · Testset naar tien

Tien inputs.

EchtUit je mailbox, een forum, een review. Namen vervangen.

Antwoord voorafDoor jou, niet door je AI. Met waarom.

Minstens 3 lastigeVaag · heel kort · andere taal · "ik weet het niet" is juist

De fouten zijn wat je inlevert.

De gouden regel van Anthropic

“Show your prompt to a colleague with minimal context on the task and ask them to follow it. If they'd be confused, Claude will be too.”

Is je collega in de war, dan je model ook.

12:30 · De buurtest

Je buur speelt het model.

011 minuut uitleg: wat doet je tool, voor wie?

02Je buur leest alleen je prompt

033 inputs. Je buur kiest, blind.

04Vergelijk

Andere antwoorden?

Je antwoord was foutPas je testset aan

Er ontbreekt een regelSchrijf hem in je prompt

De regel

Zei je iets dat niet in je prompt staat? Dan ontbreekt het.

Kan een mens het niet uit je prompt halen, dan je model ook niet.

12:45 · Run 1

Vijf inputs, elk één keer.

01Minstens twee lastige. Een nieuw gesprek per input

02Je prompt erin, één input erbij

03Geen web search

04In de app, of een lege map. Niet in je studentenmap.

05Nooit de hele testset. Noteer in Run 1.

13:00 · Fouten classificeren

Fouten hebben een naam.

F1 FoutVol overtuiging het verkeerde antwoord

F2 VerzonnenEen detail dat niet in de input stond

F3 GemistIets niet gevonden dat er wel stond

F4 VormJuiste inhoud, onbruikbare vorm

F5 GeweigerdWeigert, twijfelt, vraagt terug

F6 WisselendAnder antwoord bij dezelfde input

Onderaan je testset

3 op 5 juist
(n = 5, 1 run)

F2 en F6 zijn de gevaarlijke.

Uit de Build-brief

60% met elke fout benoemd > 95% zonder testset.

Wis nooit een fout.

13:10 · Eén wijziging

Verander één ding.

01Kies je fout die het meest zegt

02Welke bouwsteen ontbrak of was fout? Verander die ene.

03Draai alleen je foute inputs opnieuw

04Noteer in log.md: wat je deed, wat er gebeurde

3 → 1 is een mooi verhaal. Nog geen bewijs.

>_Terminal

13:20 · Post en pull request

Tegen dinsdag 13 oktober, 23:59

dien week 3 in

Thuis: je andere vijf inputs, dan alle tien een tweede keer. Volgende week is checkpoint 1.

01Wat ontbrak er in mijn context?

02Mijn eerste cijfer, met n

03Eén wijziging, en waarom het nog geen bewijs is

Context engineering en testsets

Om 13:30 heb je

Klaar om te starten?

Open je AI in je eigen map. Typ:

Om 10:55 heeft iedereen een taak.

Waar sta jij?

Je vijf nieuwe inputs zijn de lastige.

Vast? Haal de hulp in je context.

Wat weet het? Wat ziet het?

Een model leest tokens.

Het contextvenster

Eén gesprek, één limiet.

Een mail voor Sara.

Wat kies jij?

Het model kent Sara niet.

Zelfde mail. Nu met Sara's regels.

En nu?

Het model werd niet slimmer.

“The art of providing all the context for the task to be plausibly solvable by the LLM.”

Te weinig is fout. Te veel ook.

context.md = context engineering voor je agent.

Zes bouwstenen van een goede context

Hoe dringend?

Wat kies jij?

Twee modellen, twee antwoorden.

Schrijf je regels op.

Toon wat je bedoelt.

Welke truck? Wat is er mis?

Met uitweg:

Een regel met een waarom.

Jij schrijft de context.

Pauze

Tien inputs.

“Show your prompt to a colleague with minimal context on the task and ask them to follow it. If they'd be confused, Claude will be too.”

Je buur speelt het model.

Zei je iets dat niet in je prompt staat? Dan ontbreekt het.

Vijf inputs, elk één keer.

Fouten hebben een naam.

60% met elke fout benoemd > 95% zonder testset.

Verander één ding.

Tegen dinsdag 13 oktober, 23:59

`context.md` = context engineering voor je agent.