llms.txt

Was ist llms.txt?

Die Datei llms.txt ist ein neuer Standardvorschlag, der es Website-Betreibern ermöglicht, gezielt Inhalte für große Sprachmodelle (LLMs) wie ChatGPT, Claude oder Gemini bereitzustellen. Dabei handelt es sich um eine einfache Textdatei im Markdown-Format, die im Hauptverzeichnis (/) einer Website abgelegt wird. Ihr Zweck: Sprachmodelle sollen damit schneller erkennen können, welche Inhalte auf einer Website besonders hochwertig und relevant sind, beispielsweise Leitfäden, Fachartikel oder FAQs.

Im Gegensatz zu klassischen Dateien wie robots.txt, die das Crawling steuern, oder der sitemap.xml, die Suchmaschinen eine vollständige Übersicht liefert, bietet llms.txt eine inhaltliche Vorauswahl. Sie ist also eher ein redaktionelles Signal für KI-Systeme als ein technisches Steuerungsinstrument.

Langfristig könnte dies ein hilfreiches Instrument sein, um die eigene Website auch im Kontext von KI-gestützten Antworten sichtbar zu machen. Weitere Informationen zur Optimierung in diesem Bereich bietet unser Beitrag zur Sichtbarkeit in KI-Systemen.

Struktur einer llms.txt-Datei

Die Datei liegt im Hauptverzeichnis der Website (/llms.txt) und folgt einer festen, logisch aufgebauten Struktur:

1. Überschrift (H1) – Der Name des Projekts oder der Website
2. Beispiel: # Mein Online-Shop
3. Kurze Zusammenfassung – Ein einleitender Block (als Zitat formatiert), der den Zweck oder Inhalt der Seite beschreibt
4. Beispiel: > Online-Shop für nachhaltige Kleidung – fair, bio, transparent.
5. Detailbeschreibung (optional) – Freitexte, Absätze oder Listen, die z. B. wichtige Hinweise zur Navigation oder zum Zielpublikum geben
6. Dateilisten mit H2-Überschrift – Thematisch geordnete Verzeichnisse von Markdown-Dateien, die besonders relevant für Sprachmodelle sind

Theoretische Vorteile von llms.txt

• Gezielte Inhaltssteuerung für LLMs: Website-Betreiber können Sprachmodellen mitteilen, welche Seiten besonders relevant sind.
• Kuratiertes Crawling: Sprachmodelle sollen nicht mehr „blind“ alles indexieren, sondern fokussierter crawlen.
• Höhere Qualität der Antworten in Chatbots: Durch qualifizierte Inhalte sollen KI-Systeme besser informieren, mit deiner Website als Quelle.
• Bessere Sichtbarkeit in KI-Antworten: Die Hoffnung: Häufigere Nennung der eigenen Domain in ChatGPT, Claude & Co.
• Einfache Pflege & Transparenz: Klar strukturierte Markdown-Datei, ähnlich einer Mischung aus robots.txt und sitemap.xml.
• Potenzielle Grundlage für zukünftige Standards: Wer früh dabei ist, kann sich ggf. langfristige Vorteile sichern.

Wer hat die llms.txt entwickelt?

Der Vorschlag stammt von Jeremy Howard, einem bekannten KI-Forscher und Mitgründer von fast.ai sowie Answer.ai. Veröffentlicht wurde die Idee erstmals am 3. September 2024 auf GitHub und der Plattform von Answer.ai. Hintergrund ist die technische Begrenzung von Sprachmodellen: Da diese oft nicht ganze Websites auf einmal verarbeiten können, soll llms.txt eine kompakte, KI-freundliche Übersicht bieten.

Die Datei orientiert sich bewusst am Markdown-Format, nicht nur, weil es von Sprachmodellen gut verarbeitet werden kann, sondern auch, weil es für Entwickler und Websitebetreiber leicht pflegbar ist. Die Struktur umfasst u.a.:

• einen klaren Titel
• eine einleitende Projektbeschreibung
• strukturierte Verweise auf relevante Inhalte (z.B. Tutorials, Produktinfos, Hilfeseiten)

Die Vision: Eine offene, leicht umsetzbare Schnittstelle zwischen hochwertigen Webinhalten und LLMs, ohne zusätzliche technische Hürden.

llms.txt – Hype oder Hilfsmittel?

Die llms.txt-Datei wurde als neuer Standard vorgestellt, mit dem Website-Betreiber großen Sprachmodellen (LLMs) wie ChatGPT oder Claude gezielt Inhalte bereitstellen können. Die Idee: Eine strukturierte Datei im Root-Verzeichnis der Website listet Seiten auf, die besonders relevant für KI-Systeme sein sollen. Doch nach dem ersten Hype machen sich in der Community zunehmend kritische Stimmen breit.

Kritik 1: Aktuell keinerlei sichtbarer Effekt

Viele, die llms.txt bereits eingebunden haben, berichten übereinstimmend: In den Server-Logs tut sich nichts. Keine Anzeichen, dass die großen Modelle die Datei abrufen, von vereinzelten Nischen-Bots einmal abgesehen. John Mueller (Google) vergleicht llms.txt sogar mit dem alten Meta-Keywords-Tag: ein Signal, das von Website-Betreibern gesendet wird, aber ohne Garantie, dass es jemand liest.

Kritik 2: Unklare Wirkung und kein Standard

Ein weiterer Punkt: Es gibt aktuell keine öffentlich dokumentierten Implementierungen seitens der großen KI-Anbieter wie OpenAI, Google oder Anthropic. Das bedeutet: Niemand weiß genau, ob oder wie die Datei ausgewertet wird. Und falls doch, fehlt ein einheitlicher Standard, wie z. B. mit Quellen umzugehen ist.

So kritisiert ein Nutzer etwa, dass Links aus llms.txt-Dateien im LLM-Kontext nicht auf die Originalseite zurückverweisen, sondern auf die Markdown-Textdatei, was zu einer schlechten Nutzererfahrung führt, wenn diese als Quelle verlinkt wird.

Kritik 3: Vorteil unklar – für LLMs, nicht für Website-Betreiber?

Viele SEO-Profis stellen sich die Frage: Wer profitiert hier wirklich? Während sich LLMs womöglich über strukturierte Inhalte freuen, bleibt für Website-Betreiber der Nutzen fraglich. Rankings in Google verändern sich dadurch nicht, und Sichtbarkeit in KI-Systemen ist derzeit noch schwer messbar.

Was sagt Google zur llms.txt-Datei?

Aktuell äußert sich Google nur sehr zurückhaltend zur llms.txt. Offizielle Stellungnahmen beschränken sich darauf, dass die Datei kein Rankingfaktor ist – sprich: Sie hat keinen direkten Einfluss auf die Platzierung in den Google-Suchergebnissen.

Zudem betont Google, dass llms.txt-Dateien auf NoIndex gesetzt werden sollten, um zu verhindern, dass sie in den Suchindex aufgenommen werden. Darüber hinaus macht Google bislang keine Angaben darüber, ob oder wie die Datei im Crawling- oder Indexierungsprozess berücksichtigt wird.

Ob der Googlebot die Datei aufruft oder auswertet, lässt sich derzeit nicht eindeutig nachweisen, entsprechende Daten oder Statements bleiben bislang aus. Es bleibt also offen, ob und in welcher Form llms.txt in Zukunft eine Rolle spielen wird.