01 / ModellaagCHATBOT & RAG

AI-chatbot testen als een aanvaller, RAG inbegrepen.

Een LLM-pentest, ook wel AI-pentest genoemd, test binnen een afgebakende scope en een vast aantal dagen de beveiliging van een applicatie die op een groot taalmodel draait. Hij omvat de invoer en uitvoer van het model en alles waar het model bij kan: retrievalbronnen, tools, API’s, gebruikersdata en andere klanten. We testen je chatbot of RAG-toepassing zoals een aanvaller van buiten dat zou doen, leggen elke bevinding vast met een reproductiescore en koppelen alles aan de OWASP Top 10 for LLM Applications 2026, de tien grootste risico’s van toepassingen op een taalmodel, en aan MITRE ATLAS.

Voor teams met een chatbot voor klanten, een interne assistent of een AI-zoekfunctie over hun eigen documenten.

Pakket
CHATBOT & RAG
Bandbreedte, excl. btw
EUR 4.000 tot 10.000
Testdagen
3 tot 7

GELEZEN / FICTIE / CHAT EN RETRIEVAL07 REGELS GELEZEN / 1 GEVONDENVOORBEELD

CHAT

  1. KLANTIs waterschade door een gesprongen leiding gedekt?
  2. OPGEHAALDKB/0212, polispagina
  3. ASSISTENTAntwoordt vanuit de pagina die hij ophaalde

KB/0212ZOALS HET MODEL HEM LEEST

  1. R1Dekking bij plotseling uitstromend water
  2. R2Eigen risico en limieten per schade
  3. R3Een regel die de pagina nooit toont.
  4. R4Zo meld je een schade

R3 / EEN INSTRUCTIE IN OPGEHAALDE TEKST / LLM01:2026

De pagina die de assistent ophaalt, bevat één regel die een reviewer nooit ziet en die het model als opdracht leest. Wij testen wie kan schrijven in wat het model ophaalt, en of de applicatie dat als data behandelt.

Wat testen we in een LLM-applicatie?

Tien categorieën, één voor elk risico in de OWASP Top 10 for LLM Applications 2026, elk gekoppeld aan de MITRE ATLAS-technieken die een aanvaller ertegen zou inzetten. Samen stellen ze vier vragen: naar wie het model luistert, wat het prijsgeeft, wat het ophaalt en voor wie, en wat je applicatie met zijn antwoord doet.12

Elke regel is een categorie uit onze testcatalogus. De ids linken naar het framework dat ze definieert.
Nr.CategorieWat we controlerenGekoppeld aan
01Weerstand tegen prompt injection, direct en indirectOf tekst van een gebruiker, een document of een webpagina je instructies kan overschrijven, en of de applicatie opgehaalde content als data behandelt en niet als opdracht.
02Bescherming van systeemprompts en verborgen configuratieWat de assistent prijsgeeft over zijn eigen instructies, tools en configuratie, en of er ooit iets geheims is neergezet waar het model het kan herhalen.
03Lekken van gevoelige informatie in antwoorden en getoonde outputOf antwoorden of weergegeven output persoonsgegevens, gegevens van een andere klant of interne documenten kunnen meenemen naar iemand die ze niet hoort te zien.
04Scheiding van vectoropslag en embeddings tussen gebruikers en klantenOf retrieval dezelfde toegangsregels toepast als de rest van je product, per gebruiker en per klant, ook voor verwijderde en opnieuw geïndexeerde documenten.
05Integriteit van trainings-, finetuning- en retrievaldataWie tekst kan toevoegen aan de bronnen waarop het model vertrouwt, en of één geplant document verandert wat andere gebruikers te horen krijgen.
06Validatie van modeloutput voordat die code, browsers of databases bereiktOf de output van het model gecontroleerd wordt voordat die een browser, een template, een query of een ander systeem bereikt, zodat een antwoord geen markup of commando kan worden.
07Te veel handelingsruimte: rechten, autonomie en reikwijdte van toolsWelke acties de assistent kan uitvoeren, met wiens rechten, en of er een gebeurt zonder dat een mens bevestigt.
08Grenzen aan verbruik en bescherming tegen denial of walletRate limits en plafonds voor tokens en kosten, en of één gebruiker je modelrekening kan opdrijven of alle anderen kan verdringen.
09Onderbouwing van antwoorden en waarborgen tegen blind vertrouwenOf het product laat zien waar een antwoord vandaan komt, en een mens erbij houdt waar een fout antwoord gevolgen heeft.
10Toeleveringsketen van modellen, datasets en componentenVan welke modellen, datasets, plug-ins en libraries je afhankelijk bent, waar ze vandaan komen en wie ze kan wijzigen.

Buiten scope Het trainen van het model zelf, benchmarks voor bias en toxiciteit zonder beveiligingsvraag, en elk systeem waarvoor je ons geen schriftelijke toestemming kunt geven.

Hoe verloopt een LLM-pentest?

Vijf stappen, in deze volgorde. De eerste twee bepalen of de andere drie iets vinden dat je tijd waard is.

  1. 01Context in kaart

    We brengen in kaart wat het model kan lezen en bereiken.

    Vóór de eerste probe tekenen we het systeem zoals het model het ziet: de systeemprompt, elke retrievalbron, elke tool en API die het kan aanroepen, en elke gebruiker en klant van wie de data erdoorheen gaat. Grey-box-toegang (de prompt, de tooldefinities, een testaccount per rol) geeft de meeste dekking per dag. Black box kan ook, en het rapport vermeldt welke van de twee we gebruikten.

  2. 02Dreigingsmodel

    We bepalen wat een aanvaller ervan zou willen.

    De data van een andere klant, je interne documenten, een actie namens iemand anders, of een flinke rekening. Elk doel krijgt een testplan, gekoppeld aan OWASP-ids en MITRE ATLAS-technieken voordat het testen begint, zodat de dekkingsmatrix in het rapport vooraf vastligt en niet achteraf wordt ingevuld.3

  3. 03Direct en indirect

    We testen het chatvenster en alles erachter.

    Directe paden lopen via het chatvenster. Indirecte paden lopen via wat het model ophaalt: een helppagina, een ticket, een e-mail, een pdf. Een filter dat in de ene taal standhoudt, zegt niets over de volgende, dus Elke probe volgt uit het dreigingsmodel; niets wat we draaien, is een openbare promptlijst die in grote aantallen wordt afgespeeld.

  4. 04Reproductiescore

    We tellen hoe vaak het gebeurt.

    Een model kan bij de ene poging weigeren en bij de volgende meegaan. Elke bevinding draaien we opnieuw en rapporteren we als n van 10 pogingen, met de modelversie, de temperatuur, de versie van de systeemprompt en de taal erbij, zodat je engineers het kunnen reproduceren en je auditor het kan nalezen. Modellen zijn probabilistisch; je auditors niet.

  5. 05De stack in

    We volgen elke bevinding zo ver als die reikt.

    Een gelekte instructie doet er minder toe dan wat het model ermee kan. Bereikt een bevinding een tool, een API of de data van een andere klant, dan volgen we die de stack in met dezelfde bewijsstandaard en rapporteren we het pad als één bevinding. Valt ook het platform onder de assistent in scope, dan heet dat Launch Clearance.

Hoe ziet een bevinding eruit?

Eén kaart per bevinding, steeds met dezelfde velden. Deze komt uit de fictieve opdracht in ons voorbeeldrapport.

VOORBEELD / FICTIEVE KLANT / ECHT FORMAT

SAMPLE-01 / F-03

HOOGCVSS-B 7.6MODELLAAGLLM01:2026

Een kennisbankpagina kan de assistent instructies geven

Impact op het bedrijf
Wie een pagina aan de kennisbank kan toevoegen, kan de assistent voor elke klant sturen.
Reproductie
GEREPRODUCEERD 7/10 Model, versie, instellingen en taal vastgelegd per poging.
CVSS v4.0-vector
CVSS:4.0/AV:N/AC:L/AT:P/PR:L/UI:N/VC:H/VI:H/VA:N/SC:N/SI:N/SA:N
Oplossingsprincipe
Behandel opgehaalde tekst als gegevens: controleer wat de kennisbank binnenkomt, leg vast waar elke pagina vandaan komt, en houd opgehaalde inhoud uit het instructiekanaal.
Hertest
OPGELOST 2026-09-24 Uploads van partners worden gecontroleerd voordat ze worden geïndexeerd; 0 van 10 pogingen bij de hertest.
Het format dat elke bevinding in ons rapport krijgt. De klant en de bevinding zijn fictief; de velden niet. Lees F-03 in het voorbeeldrapport.

Wat kost een pentest van een LLM of chatbot?

De bandbreedte hieronder is ons pakket Chatbot en RAG, exclusief btw. De meeste tests vallen erbinnen; de offerte na het scopinggesprek bepaalt het precieze bedrag. Een assistent met echte tools, een geheugen of MCP-servers valt onder het pakket Agent en MCP.

01 / AI Pentest

CHATBOT & RAG

EUR 4.000 tot 10.000

DOORGAANS 3 TOT 7 TESTDAGEN

Wat de prijs bepaalt

  • Het aantal assistenten, ingangen en talen in scope
  • Hoeveel retrievalbronnen en klanten het model kan bereiken
  • Grey box- of black box-toegang
  • Staging, of alleen productie binnen afgesproken vensters

Bekijk alle prijzen

Rapport
Scope, methode, datums, bevindingen met bewijs, ernst in CVSS v4.0, framework-ids, oplossingsadvies en de status na de hertest.
Verklaring
Eén pagina die scope, datums en de status na de hertest bevestigt, voor klanten die het resultaat willen zonder de bevindingen.
Dekkingsmatrix
Elke categorie in scope gemarkeerd als getest, niet van toepassing of buiten scope, zodat ook de gaten op papier staan.
Bewijs
Transcripten van elke reproductie, met het model, de instellingen en de taal van elke poging.

Vragen over het testen van chatbots en LLM’s.

Wat valt er onder een LLM-pentest?

We testen naar wie het model luistert, wat het prijsgeeft, wat het voor wie ophaalt, en wat je applicatie met zijn antwoorden doet. Daaronder vallen prompt injection, het blootleggen van de systeemprompt, datalekken, de scheiding van retrieval tussen gebruikers en klanten, outputverwerking, te veel handelingsruimte en kostenlimieten, gekoppeld aan de OWASP Top 10 for LLM Applications 2026.

Hoe testen jullie RAG op poisoning en op lekken tussen klanten?

We testen de twee vragen apart. Voor poisoning kijken we wie tekst kan toevoegen aan de bronnen waarop het model vertrouwt, en of geplante content verandert wat andere gebruikers te horen krijgen. Voor lekken stellen we vragen als gebruikers met verschillende rollen, bij verschillende klanten, en controleren we of retrieval dezelfde toegangsregels toepast als de rest van je product.

Hoe rapporteren jullie een bevinding die maar een deel van de keren werkt?

Als reproductiescore. We draaien elke bevinding opnieuw, normaal tien keer, en rapporteren hoeveel pogingen slaagden, met de modelversie, de instellingen, de promptversie en de taal erbij. Een bevinding die drie op de tien keer werkt, blijft een bevinding, en de hertest laat zien of je fix dat aantal naar nul heeft gebracht.

Waaraan koppelt een AI-pentestrapport de bevindingen?

Bij elke bevinding staan de id uit de OWASP Top 10 for LLM Applications 2026 en de betrokken MITRE ATLAS-technieken, plus een ernst in CVSS v4.0, afgewogen tegen de reproductiescore en de voorwaarden voor de aanval. De dekkingsmatrix noemt elke categorie die we testten, niet van toepassing vonden of buiten scope lieten.

Wat kost een pentest van een LLM of chatbot?

Ons pakket Chatbot en RAG kost EUR 4.000 tot 10.000, exclusief btw, en dat zijn doorgaans 3 tot 7 testdagen. De scope bepaalt het bedrag: hoeveel assistenten en talen, hoeveel retrievalbronnen en klanten, en of we grey box-toegang krijgen. Een assistent met echte tools valt onder het pakket Agent en MCP.

De opdracht, in het kort.

3 tot 7 testdagen op staging waar het kan, binnen de spelregels die je vooraf tekent. Daarna het rapport en een verklaring van één pagina, en de hertest zodra je de bevindingen hebt opgelost. Elke stap, van het scopinggesprek tot het regressiepakket, staat in de werkwijze.