Wat is LLM?
LLM staat voor Large Language Model (groot taalmodel). LLM is kunstmatige intelligentie dat teksten geschreven door mensen kan begrijpen en genereren, denk aan Chat GPT en Google Gemini.
LLM’s kunnen taal verwerken op basis van patronen die ze hebben geleerd uit enorme hoeveelheden data en tekst van o.a. websites. Deze data begrijpen LLM’s op een statistische manier, zij hebben geen bewustzijn en begrijpen taal niet op een manier zoals mensen doen. Het wordt o.a. gebruikt voor chatbots en het schrijven van teksten en vertalingen.
Wat is llms.txt?
Een llms.txt is een tekstbestand dat je kunt plaatsen op de root van een website of webshop. Bijvoorbeeld: (https://www.bovenaaninternet.nl/llms.txt). Het is een, voorgesteld maar nog niet officiële standaard, voor AI-modellen om de content op je site beter te begrijpen.
Moet je een llms.txt gebruiken?
Het gebruik van een llms.txt is vrijwillig, niet alle LLM’s gebruiken het bestand.
Wat zegt Google over het llms.txt bestand?
John Mueller van Google zegt het volgende over het gebruik van llms.txt bestanden:
“Zo ver ik weet heeft geen van de AI-diensten heeft gezegd dat ze LLMs.TXT gebruiken (en je kunt zien als je naar je serverlogs kijkt dat ze er niet eens op controleren). Voor mij is het vergelijkbaar met de keywords meta tag – dit is waar een site-eigenaar beweert dat zijn site over gaat …” Bron.
Daarnaast heeft geen van de grote AI-diensten (zoals Anthropic, OpenAI, Google) ondersteuning aangekondigd voor de voorgestelde LLMs.txt standaard.
Maar John Mueller zegt ook dat een LLMs.txt-bestand overbodig is. Want een bot die het LLMs.txt-bestand gebruikt, zal ook de andere inhoud moeten controleren om er zeker van te zijn dat het geen spam is.
Hoe kom je aan een llms.txt?
Je kan deze genereren met een tool zoals: https://llmstxt.firecrawl.dev/
Ik wil AI-bots blokkeren op mijn site
Wanneer je niet wilt dat AI-bots de content op je site gebruiken kan je ze blokkeren in je robots.txt.