Variatie, caching en modelkeuze

Kan je je eigen cijfers vertrouwen? Je hebt nu drie cijfers: een score, een kost per run en een netto per jaar. Vandaag test je ze. Je draait je tool opnieuw op dezelfde inputs. Dan zie je hoeveel je score vanzelf schommelt: je foutmarge . Zoals bij een peiling: een verschil binnen de foutmarge is geen verschil. Je test een kleiner model en een lagere effort. Valt het verschil binnen je foutmarge? Je bouwt je value chain opnieuw, met de foutmarge erin. Je zoekt de AI ismen in je eigen posts en herschrijft ze. Alles komt samen in één pagina: je dashboard , met een publieke link in je post. Die cijfers tellen voor twee criteria van je memo: waarde onderbouwen (20%) en kosten (15%).

Je foutmarge: je laatste en je vorige versie, elk 3 runs op dezelfde inputs. Je claim uit week 3 of 4 is bevestigd of ingetrokken . Een tabel met drie setups van je eigen tool: score en kost. Je volledige value chain, met een bereik in plaats van één getal. build/dashboard.html , met een publieke link. Een juiste prijs in build/kosten.md . Een begin van je post, met je AI ismen.

10:30 start week 5 , de Haiku correctie, en een gok 10:45 Zo testen bedrijven AI: evals 10:55 Lus 1: je foutmarge 11:20 De pelikaantest 11:35 Lus 2: welk model en welke effort voor jouw taak? 12:00 Pauze 12:10 Waarde: de value chain, met de foutmarge erin 12:40 Je dashboard 13:00 AI ismen 13:10 Post en pull request

Open je tool in je eigen map, studenten/jouw naam/ . Typ: Claude Codex /week start week 5 $week start week 5 Check daarna: staan je prompt, je testset en kosten.md van week 4 in build/ ? Nee? Zeg het meteen. Nog geen pull request voor week 4? Typ eerst dien week 4 in . Nieuw: de skill context heet nu profiel . Hij botste met het ingebouwde commando /context . Na start week 5 typ je /context en zie je weer wat je tool meestuurt. Je bestand context.md blijft gewoon staan. Wil je het aanpassen? Typ /profiel (Codex: $profiel ).