Willem Debackere

Mijn tool in cijfers

Mijn tool leest de tekst van de website van een bedrijf en zegt of het een mogelijke klant is voor DBA Hardwoods, de houthandel van mijn vader. Op dit moment ligt de focus op rubberwood. Hij haalt ook het e-mailadres eruit. Zonder e-mailadres is het geen lead.

Met prompt v2 haalde hij 18 op 20 juist (n = 10 inputs, 2 runs). Beide fouten zijn F1 en zitten bij hetzelfde bedrijf: Bautier. De tool zag "eigen studio en workshop in Brussel" en zei ja, terwijl de meubels in Duitsland gemaakt worden. Geen F2: in 20 runs verzon hij geen enkel e-mailadres, ook niet bij de drie sites zonder adres.

Het opvallendste: met exact dezelfde v2-prompt gaf Bautier in week 3 twee keer nee en in week 4 twee keer ja. Het model leert niet bij tussen de runs. Elke run begint van nul. Het is toeval: F6, wisselend. Mijn wijziging van week 3 hield dus geen stand, zoals ik toen al vreesde. Mijn papa zei bij de buurtest al dat "workshop" niet bewijst dat ze zelf hout verwerken. Dat wordt mijn volgende wijziging.

Wat kost één run?

Ik mat met claude -p op 14 oktober. Eerst een lege vraag, om te zien wat Claude Code zelf meestuurt: 15.789 tokens bij Sonnet 5.5, 16.303 bij Haiku 4.5. Dat is de context. Daarna elke input apart.

Mijn deel, de prompt plus de websitetekst plus het antwoord, is gemiddeld 2.697 input- en 198 output-tokens bij Sonnet 5.5 (20 runs). Aan $2 en $10 per miljoen tokens is dat $0,0074, ongeveer € 0,0066 per run. De context is dus 6 tot 10 keer groter dan mijn deel. Een bedrijf dat de tool via de API draait, betaalt alleen mijn deel.

Haiku 4.5 kost per token de helft, maar denkt eerst: 711 tot 1.255 denk-tokens per run. Daardoor kost een Haiku-run hier € 0,005 tot € 0,009, evenveel of meer dan Sonnet.

Per maand, aan ± 100 bedrijven, kost de tool met Sonnet € 0,66. Bij 10× is dat € 6,60, bij 1.000× € 660.

Ik draaide T01 ook zelf in Claude Code met Haiku. /cost gaf $0,0738, ongeveer € 0,066: 13 keer meer dan mijn deel. De tool opende zelf bestanden en deed 5 requests in plaats van 1, en elke stap stuurde de hele context opnieuw mee. Ook /context startte in mijn map de cursusskill met dezelfde naam in plaats van het commando. Hoe je de tool draait, bepaalt de kost meer dan welk model je kiest.

Met de hand of met de tool?

Ik reken met de tool zoals hij nu is: ik zoek het bedrijf, de tool beoordeelt de site en haalt het e-mailadres eruit, ik kijk na.

• Met de hand: bedrijf zoeken, site openen, beoordelen, e-mail zoeken en doorgeven: 15 minuten per bedrijf. Eigen schatting.
• Met de tool: bedrijf opzoeken 1 minuut, tekst kopiëren en plakken en de tool draaien 2 minuten, nakijken of het wel een e-mailadres is, en geen telefoonnummer of adres, 10 seconden: ± 3 minuten 10 seconden. Eigen schatting. Ik kijk niet na of het adres echt op de site staat: of het werkt, zie ik pas bij de mailing, als er een antwoord komt. Een verzonnen adres (F2) merk ik dus pas laat.
• Winst: ± 11 minuten 50 seconden per bedrijf.
• Volume: ± 100 per maand, dus ± 5 per dag, 25 per week, 1.200 per jaar. Een gok.
• Uren: ± 1 u per dag, 4,9 u per week, 19,7 u per maand, ± 237 u per jaar.
• Uurkost: € 45, de loonkost van een bediende in België. Aanname, uit het voorbeeld van de les.
• Waarde: 237 × € 45 = ± € 10.650 per jaar.
• Kost van de tool: 1.200 × € 0,0066 = ± € 8 per jaar. Gemeten.
• Netto: ± € 10.640 per jaar.

Zoals in het voorbeeld uit de les is de kost van de tool bijna niets. De vraag is of mijn schattingen kloppen. Later wil ik dat de tool zelf bedrijven zoekt. Dan blijft enkel nakijken over: bijna 15 minuten winst per bedrijf, ± 297 uur per jaar. Maar dat is nog niet gebouwd.

Mijn zwakste cijfer

De 100 bedrijven per maand. Het kunnen er zowel meer als minder zijn: het hangt volledig af van de maand en het andere werk.

Is het de helft, 50 per maand, dan win ik ± 118 uur per jaar. Dat is ± € 5.325, min ± € 4 voor de tool: ± € 5.320 netto. Het netto stijgt en daalt recht mee met het volume, omdat de tool bijna niets kost. Mijn zwakste cijfer bepaalt dus de hele waarde.

Wat ik ook nog niet weet: wat een nieuwe klant waard is. Dat hangt af van wat hij inbrengt. Voor mijn memo moet ik dat aan mijn papa vragen.

Wat ontbrak er in mijn context?

Mijn tool leest de homepage van een bedrijf en zegt of het een mogelijke klant is voor DBA Hardwoods, de houthandel van mijn vader. Op dit moment ligt de focus op rubberwood. Een klant is dus een bedrijf dat zelf iets maakt in massief hout: trappen, meubels, keukens. Zonder e-mailadres op de site is het geen lead.

Deze week kwamen er vijf lastige inputs bij: een andere houthandel, een Engelstalige meubelwinkel, een renovatie-aannemer met twee e-mailadressen, een korte Engelse site zonder e-mail en een totaalaannemer. Het juiste antwoord schreef ik vooraf zelf op.

Bij Bautier ging het fout. Hun site zegt dat studio, workshop en winkel in Brussel zitten, maar dat de meubels in Duitsland gemaakt worden. Ik zei nee, want ze kopen zelf geen hout. Run 1 zei ja, run 2 zei onzeker.

Mijn prompt zei niet wat "zelf maken" precies betekent: een bedrijf dat meubels onder eigen naam verkoopt maar ze elders laat produceren, telt niet. Alleen een bedrijf dat zelf het hout verwerkt in een eigen werkplaats telt als ja, ook als de site woorden als "workshop" of "studio" gebruikt.

Bij de audit op de zes bouwstenen ontbraken ook de voorbeelden, en geen enkele regel had een "want". Ik voegde er één toe: "Raad nooit een e-mailadres, want een geraden adres bestaat misschien niet."

Buurtest met mijn papa, alleen met de prompt: drie keer hetzelfde antwoord als ik bij DL Interieur, Bautier en ER-Bouw. Ook hij zei: "workshop" bewijst niet dat ze zelf hout verwerken.

Mijn eerste cijfer

18 op 20 juist (n = 10 inputs, 2 runs). Beide fouten zitten bij Bautier: één F1 (vol overtuiging ja) en één F6 (onzeker, een ander antwoord bij dezelfde input). Geen F2: de tool verzon in 20 runs geen enkel e-mailadres.

Ik vertrouw het cijfer maar half: met 10 bedrijven en 2 runs zijn het geen 20 onafhankelijke metingen, en beide fouten komen uit één geval, dus één extra lastig bedrijf kan de score sterk doen zakken. En dat de tool nooit een e-mailadres verzon, zegt weinig, want alleen Trappen Smet, Menuiserie Richard en Woontheater testen dat echt. Dat zijn 6 runs, te weinig om F2 uit te sluiten. Daarvoor heb ik meer testgevallen nodig waar het verleidelijk is om iets te verzinnen.

Eén wijziging

Ik voegde één regel toe: "Verkoopt of plaatst het bedrijf alleen producten die ergens anders gemaakt worden? Dan nee, want het koopt zelf geen hout." Daarna gaf Bautier twee keer nee.

Dat is nog geen bewijs, omdat het niet toonde wat er precies anders ging, enkel dat T07 twee keer juist was. De andere negen bedrijven heb ik nog niet opnieuw gedraaid met de nieuwe regel, dus misschien gaat er nu een ander fout. En bij de eerste versie gaven twee runs al verschillende antwoorden, dus twee keer juist kan ook toeval zijn.

Wat bouw ik?

Ik bouw een tool die de website van een bedrijf leest en zegt of het een mogelijke klant is, met het e-mailadres erbij. Eerst voor DBA Hardwoods, later voor elk bedrijf.

Waarom een taalmodel?

Het AI-model moet ervoor zorgen dat ze in elke taal klanten kunnen vinden. Een vaste regel die zoekt naar "hout" mist een Franse site die "escaliers en bois" schrijft.

Eén testinput

De website van Stebaro, een trappenmaker in Lochristi. Juiste antwoord: doelgroep ja, lead ja, e-mail info@stebaro.be. De tool gaf twee keer exact dat antwoord. Over alle vijf testinputs: 10 van de 10 runs juist.

Wat heb ik tot nu toe met AI gedaan?

Dingen opgezocht, zoals leads zoeken, of groepswerken uitwerken. Dat werkte heel goed, enkel dat Claude soms valse e-mails verzon.

Wat verraste me vandaag?

Git installeren. Makkelijker dan gedacht, en verbaasd dat Claude alles deed.

Welke richting wil ik uit?

Vooral het zoeken naar leads voor de houthandel van mijn vader.