llms.txt
llms.txt: czym jest ten plik i co z niego zapisuje archiwum
llms.txt to proponowana konwencja: plik Markdown w katalogu głównym strony internetowej, który opisuje stronę modelom językowym i kieruje je do istotnych podstron. Niczego nie zakazuje i niczego nie zastrzega. Ta strona wyjaśnia, co zawiera plik, czym różni się od robots.txt, ai.txt i zastrzeżenia dotyczącego eksploracji tekstów i danych oraz dlaczego to, co taki plik zawierał w określonym dniu, może później stać się przedmiotem pytania. Poradników, jak napisać taki plik, nie brakuje; ta strona dotyczy jego utrwalenia.
Czym jest llms.txt
Konwencję zaproponowano we wrześniu 2024 r. i opublikowano na llmstxt.org. Jest to propozycja, a nie norma organizacji normalizacyjnej, i nic nie zobowiązuje strony do publikacji pliku ani systemu AI do jego odczytu. Według propozycji plik nazywa się llms.txt i znajduje się w katalogu głównym strony (/llms.txt) albo w podkatalogu, dla adresów, które się w nim znajdują. Jest napisany w języku Markdown i ma stałą kolejność:
- nagłówek pierwszego poziomu z nazwą strony lub projektu (jedyna część obowiązkowa);
- opcjonalnie krótkie streszczenie w cytacie blokowym oraz dalsze akapity objaśniające;
- dowolna liczba sekcji drugiego poziomu, każda w postaci listy odnośników z krótkim opisem, zwykle do stron w zwykłym Markdown.
Celem, według słów propozycji, jest dostarczenie modelom językowym zwięzłych, wyselekcjonowanych informacji w jednym miejscu, zamiast zmuszania ich do przedzierania się przez stronę zbudowaną dla ludzi. Minimalny przykład dla wymyślonej strony:
# Example Shop > Furniture for small flats, shipped within the EU. ## Products - [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices - [Delivery](https://shop.example/delivery.md): countries, lead times, returns ## Optional - [Press](https://shop.example/press.md): company history and contact
Czym różni się od robots.txt, ai.txt i zastrzeżenia
Pliki skierowane do maszyn robią różne rzeczy, a ta różnica jest przedmiotem tej strony:
- robots.txt wskazuje robotom (crawlerom), pod nazwą, którą się przedstawiają, jakie ścieżki mogą pobierać. Ogranicza.
- ai.txt to nowsza, niezstandaryzowana konwencja wyrażająca stanowisko wobec systemów AI. Deklaruje.
- Zastrzeżenie dotyczące eksploracji tekstów i danych (na przykład w /.well-known/tdmrep.json) wyraża, że uprawniony zastrzega sobie takie korzystanie. Jak traktuje je prawo, wyjaśnia strona o eksploracji tekstów i danych oraz zastrzeżeniu nadającym się do odczytu maszynowego.
- llms.txt opisuje. Wskazuje modelowi językowemu drogę do treści i nie zawiera żadnego mechanizmu odmowy. Propozycja nie przedstawia go jako zastrzeżenia, a to, czy ma on jakiekolwiek znaczenie na gruncie określonej ustawy, jest kwestią prawną, na którą ta strona nie odpowiada.
Dlaczego jego treść z określonego dnia może mieć znaczenie
Plik llms.txt jest oświadczeniem, które strona składa o sobie, skierowanym do maszyn, w określonym momencie. Może wymieniać podstrony, opisywać ofertę i zmieniać się z tygodnia na tydzień bez śladu: serwer nie prowadzi historii, a gdy plik zostanie zmieniony, poprzednia wersja znika. Pytanie o to pojawia się zwykle później i jest zwykłym pytaniem o fakty: co ta strona oferowała systemom AI o sobie w tym dniu, do jakich podstron je kierowała i kiedy to się zmieniło? Zrzut ekranu zrobiony dzisiaj pokazuje dzień dzisiejszy, a dziennik serwera jest oświadczeniem jednej ze stron. Odpowiedź daje zapis sporządzony w tym samym dniu przez kogoś, kto nie wiedział, że to pytanie kiedykolwiek padnie.
W wymyślonym przykładzie powyżej taki zapis pokazałby, że 3 marca plik wymieniał strony katalogu i dostawy, że w późniejszym terminie pojawiła się sekcja dla prasy, a w innym terminie pliku już nie było.
Co z niego zapisuje MachineWitness
Archiwum pobiera /llms.txt w katalogu głównym każdej obserwowanej domeny, codziennie, razem z robots.txt, ai.txt i tdmrep.json. Robi to na obu swoich niezależnie prowadzonych świadkach. Przy każdym pobraniu zapisuje to, co zostało wysłane: dokładne bajty, pełne nagłówki odpowiedzi, odcisk SHA-256 treści i czas w UTC. Gdy pliku nie ma, również to jest zapisywane: HTTP 404 bez treści, co pokazuje, że tego dnia pod tym adresem nic nie było wysyłane. Każdy dzień jest jeszcze tej samej nocy pieczętowany w publicznym korzeniu i zakotwiczany za pomocą znaczników czasu poza tym archiwum. Co przechowujemy wymienia wszystkie adresy i limity.
Należą tu dwa ograniczenia. Pobierany jest tylko adres w katalogu głównym; llms.txt w podkatalogu nie jest pobierany. Archiwum zapisuje plik tak, jak został wysłany: nie czyta go pod kątem znaczenia, nie sprawdza, czy odnośniki działają, i nie ocenia, co jest w nim napisane.
Ile witryn go udostępnia: w tygodniu do 26 października 2026 r. 10 640 ze 139 787 najczęściej odwiedzanych witryn z UE, według końcówki lub siedziby (7,61 %), udostępniało plik llms.txt w formie opisanej w propozycji. Liczone są witryny z miliona najczęściej odwiedzanych na świecie, których adres kończy się na .eu lub na kod kraju UE, np. .pl lub .de, na końcówkę regionalną UE, np. .cat lub .berlin, albo na końcówkę ogólną, np. .com, gdy Wikidata przypisuje witrynę organizacji z siedzibą w UE. Licząc tylko końcówki krajowe, było to 9 221 ze 128 315 (7,19 %). Dane i metoda (po angielsku).
Jeśli potrzebują Państwo zapisu
- Czy domena jest już obserwowana i od kiedy: sprawdzenie zasięgu, bezpłatne.
- Domena, która nie jest jeszcze obserwowana i ma być zapisywana codziennie od teraz: codzienna obserwacja.
- Co plik zawierał w określonych dniach, jako dokument z instrukcją weryfikacji: wyciąg dowodowy.
Zapis może się zacząć dopiero w dniu rozpoczęcia obserwacji; nie można go sporządzić dla wcześniejszych dni.
To nie jest porada prawna. Ta strona opisuje format pliku i zapisy prowadzone przez to archiwum. Nie mówi, czego wymaga jakakolwiek ustawa, czy plik ma skutki prawne ani co ktokolwiek powinien zrobić. MachineWitness prowadzi firma programistyczna, nie kancelaria; do oceny konkretnej sytuacji właściwy jest adwokat lub radca prawny.