Wat is LLM?
LLM staat voor Large Language Model (groot taalmodel). LLM is kunstmatige intelligentie dat teksten geschreven door mensen kan begrijpen en genereren, denk aan Chat GPT en Google Gemini.
Wat doet het?
LLM’s kunnen taal verwerken op basis van patronen die ze hebben geleerd uit enorme hoeveelheden data en tekst van o.a. websites. Deze data begrijpen LLM’s op een statistische manier.
Zij hebben geen bewustzijn en begrijpen taal niet op een manier zoals mensen doen. Het wordt o.a. gebruikt voor chatbots en het schrijven van teksten en vertalingen.
Wat is een llms.txt?
Een llms.txt is een tekstbestand dat je kunt plaatsen op de root van een website of webshop. Bijvoorbeeld: (https://www.bovenaaninternet.nl/llms.txt). Het is gemaakt voor AI-modellen om de content op je site beter te begrijpen. Het is echter geen officiële of internationaal erkende of aangenomen standaard.
Moet je een llms.txt gebruiken?
Het gebruik van een llms.txt is vrijwillig. De grote LLM’s gebruiken het bestand niet. Denk aan partijen zoals Google, Perplexity en ChatGPT.
Wat zegt Google over het llms.txt bestand?
John Mueller (dé grote man van Search bij Google) zegt het volgende over het gebruik van llms.txt bestanden:
“Zo ver ik weet heeft geen van de AI-diensten heeft gezegd dat ze LLMs.txt gebruiken. En je kunt in serverlogs zien kijkt dat ze er niet eens op controleren.” Bron.
Daarnaast hebben de grote LLM AI-diensten (zoals Anthropic, OpenAI (ChatGPT), Google) geen ondersteuning aangekondigd voor de voorgestelde LLMs.txt standaard.
Wat zegt John Mueller verder? Nou… dat een llm.txt overbodig is. Want een bot die het llm.txt bestand gebruikt, zal ook de andere inhoud op de site moeten controleren om er zeker van te zijn dat het geen spam is. Daar heeft ie een goed punt.
300.000 domeinen met llms.txt getest en de resultaten
Uit een analyse van 300.000 domeinen bleek dat het gebruik van het bestand llms.txt laag is en geen meetbaar verband heeft met de frequentie waarmee AI wordt geciteerd. Zie het hele artikel op searchenginejournal.com.
Hoe kom je aan een llms.txt?
Wil je toch een llms.txt op je site plaatsen? Ok, dan. ‘Eigenwijs’ is ook ‘wijs’ zei mijn oma altijd 😉
Voor WordPress zijn er plugins te vinden die dit voor je regelen. Maar je kan er ook een genereren met een tool als: https://llmstxt.firecrawl.dev/
Ik wil AI-bots blokkeren op mijn site
Wanneer je niet wilt dat AI-bots de content op je site gebruiken dan kan je ze uiteraard blokkeren in je robots.txt. Hier vind je een handleiding hoe je dit doet.