Op 3 september 2024 stelde Jeremy Howard van Answer.AI een klein tekstbestand voor: /llms.txt, een korte uitleg van je site in gewone taal, speciaal voor taalmodellen. Het idee sloeg aan. Twee jaar later staat het bestand op tienduizenden sites, en gebruikt bijna geen enkel AI-systeem het. Allebei waar. Hieronder wat je ermee moet.
Wat is llms.txt eigenlijk?
Een robots.txt zegt wat een crawler wel en niet mag ophalen. Een llms.txt zegt wat er te halen valt: wie je bent, wat je doet, waar de belangrijkste pagina's staan. In markdown, zonder navigatie, zonder cookiebanner, zonder de tweehonderd regels script die een gewone pagina omringen. Het bestand is een handleiding. Geen slot.
Hoeveel sites hebben er een?
Snel meer. Originality.ai telde 4.088 llms.txt-bestanden in juni 2025 en 36.120 in mei 2026, bijna negen keer zoveel in een jaar, meldt PPC Land. Van de duizend grootste sites ter wereld had in juni 2026 8,7 procent er een, onder wie Cloudflare, GitHub en WordPress.org. Wie het bestand neerzet, is dus in goed gezelschap.
En leest een AI hem?
Nauwelijks. Ahrefs keek in mei 2026 naar de serverlogs van 137.000 domeinen: 97 procent van de llms.txt-bestanden kreeg geen enkel verzoek van een AI-bot. John Mueller van Google had het een jaar eerder al gezegd, op 17 juni 2025 op Bluesky: "FWIW no AI system currently uses llms.txt." Begin 2026 voegde Google eraan toe dat de llms.txt-bestanden op zijn eigen domeinen geen goedkeuring inhouden, en in juni 2026 dat het bestand een taalmodel niet helpt om sites van elkaar te onderscheiden.
Wat AI-bots wél doen: je hele site lezen
Het verkeer van AI-crawlers groeit hard. Alleen niet via llms.txt, maar gewoon pagina voor pagina. Cloudflare zag het aandeel van GPTBot in al het crawlverkeer stijgen van 2,2 procent in mei 2024 naar 7,7 procent in mei 2025, ruim drie keer zoveel verzoeken. Googlebot groeide in dezelfde periode van 30 naar 50 procent. ClaudeBot zakte juist, van 11,7 naar 5,4 procent.
Wat die bots terugbrengen is een ander verhaal. Cloudflare rekende voor 2025 uit hoeveel pagina's een AI-bedrijf ophaalt per bezoeker die het terugstuurt. Bij OpenAI liep dat in maart 2025 op tot 3.700 opgehaalde pagina's per doorverwezen bezoeker, en Anthropic had de hoogste verhouding van alle AI-platforms. Veel lezen, weinig terugsturen. Dat is de ruil die je aangaat.
Daar komt de echte keuze vandaan. Bijna 21 procent van de duizend grootste sites heeft inmiddels een regel voor GPTBot in robots.txt, blijkt uit HTTP Archive-data van augustus 2025. Vaak een blokkade. Voor een uitgever die van advertenties leeft is dat verdedigbaar. Voor een bedrijf dat gevonden wil worden is het het tegenovergestelde: wat een AI niet mag lezen, kan hij ook niet aanraden.
Wat je ermee doet
Zet het bestand neer. Het kost een kwartier, het kan geen kwaad, en het dwingt je om in tien regels op te schrijven wie je bent. Dat is ook voor jezelf nuttig. Verwacht er alleen niets van. De hefboom zit ergens anders.
De volgorde die wel werkt
- Kijk eerst in robots.txt.Staat er een blokkade voor GPTBot, ClaudeBot, PerplexityBot of Google-Extended? Dan ben je onzichtbaar in die antwoorden, wat je verder ook doet. Laat ze toe, of blokkeer ze bewust.
- Zet je feiten in gestructureerde data.Organisatie, product, prijs, veelgestelde vragen: als JSON-LD in de pagina. Dat lezen crawlers wél, elke keer.
- Zet daarna llms.txt neer.Dezelfde feiten, in gewone taal, met links naar je belangrijkste pagina's. Een goede gewoonte, meer niet.
- Meet of de bots komen.Je serverlog of je hostingpaneel laat zien welke crawlers langskomen. Komt GPTBot niet, dan zoekt niemand je llms.txt.
Wij zetten llms.txt op elke site die we bijhouden, ook op de onze. En we schrijven er eerlijk bij dat het nu vooral een goede gewoonte is. In onze nulmeting controleren we robots.txt, llms.txt en gestructureerde data alle drie, omdat de eerste twee samen bepalen of een AI je überhaupt mag lezen.
Mag een AI jouw site eigenlijk lezen?
De nulmeting controleert je robots.txt, je llms.txt en je gestructureerde data, en laat zien of je genoemd wordt bij de vragen die je klanten stellen.
Vraag je gratis nulmeting aan