llms.txt

Wat is llms.txt?

llms.txt is een voorgestelde webstandaard: een markdown-bestand op het rootpad van een site (/llms.txt) dat large language models een gecureerde kaart geeft van de belangrijkste content van de site, met links naar schone, markdown-vriendelijke versies van kernpagina's. Het bestaat omdat HTML-pagina's vol navigatie en scripts het beperkte context van een AI-systeem verspillen.

De belangrijkste punten

• Het bestand is geschreven in markdown, geen directive-syntax. Het bevat een H1 met de sitenaam, een korte samenvatting, en secties met geannoteerde links naar de content die het meest telt.
• Het werd voorgesteld door Jeremy Howard van Answer.AI in september 2024, en adoptie concentreerde zich op sites voor developertools en documentatie, waar AI-ondersteund gebruik het zwaarst is.
• llms.txt is een aanbod, terwijl robots.txt een beperking is. Het ene zegt "hier is onze beste content in een handig formaat," het andere zegt "dit mag je niet crawlen."
• Een begeleidende conventie, llms-full.txt, plaatst de volledige documentatietekst in één bestand zodat een agent alles in één keer kan ophalen.
• Per 2026 heeft geen enkele grote AI-aanbieder toegezegd het bestand te honoreren bij training of live retrieval, dus behandel het als goedkope voorbereiding met onzeker bereik in plaats van een bewezen acquisitiekanaal.

Hoe het werkt

Het voorstel standaardiseert zowel locatie als vorm. Het bestand leeft op de webroot, en zijn structuur is doelbewust parseerbaar: een H1-titel, een blockquote-samenvatting van de site, optionele vrije notities, dan H2-gekopte secties met markdown-linklijsten, waar elke link een regel-annotatie kan dragen die uitlegt wat de pagina dekt. Een optionele laatste sectie genaamd "Optional" markeert content die overgeslagen kan worden wanneer een agent krap zit in zijn contextvenster. Omdat het formaat gewone markdown is, lezen zowel mensen als programma's het zonder speciale tooling.

De tweede helft van de conventie richt zich op de pagina's zelf. Sites worden aangemoedigd markdown-tweelingen van belangrijke pagina's te bedienen, bereikbaar door .md aan de URL toe te voegen, zodat een model documentatie kan ophalen zonder door headers, cookiebanners, en JavaScript te waden. Documentatieplatforms maakten dit bijna gratis: Mintlify, en frameworks en hosts in zijn kielzog, genereren llms.txt en markdown-varianten automatisch, wat waarom duizenden developergerichte sites het bestand binnen een jaar na het voorstel uitleverden. Originality.ai's trackingstudie over meer dan 3 miljoen gemonitorde websites vond dat adoptie 8,8x groeide in twaalf maanden, van 4.088 sites in juni 2025 naar 36.120 tegen mei 2026 [1].

Consumptie is waar verwachtingen zorgvuldigheid nodig hebben. De realistische consumenten vandaag zijn agentic tools die pagina's op aanvraag ophalen: een coding-agent gevraagd een SDK te integreren kan de llms.txt van de leverancier ophalen, de links volgen, en precies de relevante docs laden. Of de grote AI-zoek- en chatproducten het bestand raadplegen is ongedocumenteerd en breed betwijfeld, en serverlog-studies tonen weinig bewijs van systematisch llms.txt-ophalen door hun crawlers. Een Ahrefs-logstudie zette cijfers op de kloof: 28% van 137.210 domeinen die zijn webanalytics gebruiken publiceerde een llms.txt-bestand, maar toch kreeg 97% van die bestanden nul verkeer in mei 2026 [2]. Het publiceren is goedkope verzekering, en voor teams die hun zichtbaarheid in AI-antwoorden optimaliseren is dat meestal rechtvaardiging genoeg.

Voorbeeld

Een betalings-API-bedrijf blijft horen dat coding-agents verouderde endpoints hallucineren uit oude blogposts in plaats van huidige docs te gebruiken. Ze publiceren /llms.txt met hun quickstart, authenticatiegids, API-referentie, en migratienotities, elk met een regel-beschrijving, en configureren hun docsplatform om elke pagina als markdown te bedienen op de .md-tweeling-URL. Wanneer nu de coding-agent van een klant gevraagd wordt betalingen toe te voegen, haalt hij de index op, volgt twee links, en werkt vanuit de huidige v3-referentie, ongeveer vierduizend tokens schone markdown in plaats van honderdduizenden tokens gerenderde HTML. Integratie-bugrapporten te herleiden tot verouderde voorbeelden dalen merkbaar het kwartaal erna.

Veelvoorkomende misvattingen

De grootste misvatting is dat llms.txt AI-crawlers bestuurt zoals robots.txt zoekcrawlers bestuurt. Het verleent niets en verbiedt niets. AI-trainingsbots blokkeren gebeurt nog steeds in robots.txt-user-agent-regels, en niets verplicht enige modelleverancier om llms.txt überhaupt te lezen. Het bestand lijkt meer op een sitemap gekruist met een leesgids: puur adviserend, waardevol precies in de mate dat een consumerende tool ervoor kiest het te gebruiken. Er één publiceren terwijl je daadwerkelijke content onparseerbaar blijft, of verwachten dat het AI-citatie-aandeel op zichzelf verplaatst, verkeert wat het doet.

FAQ

Gebruikt Google of OpenAI llms.txt? Geen van beide heeft ondersteuning aangekondigd, en Google-vertegenwoordigers hebben het idee publiekelijk gebagatelliseerd. De betrouwbare consumenten zijn agenttools die documentatie live ophalen, zoals codingassistenten, in plaats van trainingspipelines of AI-zoekindexen.

Wat is het verschil tussen llms.txt en llms-full.txt? llms.txt is een index van links met annotaties; llms-full.txt concatenateert de volledige tekst van de documentatie in één groot markdown-bestand. De volledige variant past bij one-shot-opname in een grote context, terwijl de index past bij selectief ophalen, en grote sites publiceren vaak beide. Als llms-full.txt en het verwante ai.txt-formaat naast llms.txt meegeteld worden, vond Originality.ai's jaarlange studie dat 38.980 sites een LLM-richtlijnbestand hadden geadopteerd tegen mei 2026 [3].

Moet mijn site er een hebben? Als AI-tools plausibel je content lezen, vooral developerdocumentatie, ja: generatie is vaak een checkbox in moderne docsplatforms en het nadeel is nihil. Voor een algemene marketingsite is de zaak zwakker, en inspanning is beter besteed aan de pagina's zelf schoon, snel, en crawlbaar maken.

Bronnen

1. Originality.ai. "LLMs.txt-trackingstudie, twaalf-maanden-adoptiegroei over meer dan 3 miljoen gemonitorde websites." https://originality.ai/blog/llms-txt-tracking-study. Geraadpleegd augustus 2026.
2. Ahrefs. "llms.txt-logstudie, publicatie- en verkeerscijfers over 137.210 domeinen." https://ahrefs.com/blog/llmstxt-study/. Geraadpleegd augustus 2026.
3. Originality.ai. "LLMs.txt-trackingstudie, gecombineerde adoptie van llms.txt-, llms-full.txt-, en ai.txt-bestanden." https://originality.ai/blog/llms-txt-tracking-study. Geraadpleegd augustus 2026.