Aktualizacja: 21 sierpnia 2026. Redakcja merytoryczna: Damian Grądzki, Senior SEO/GEO w WBIZNES.
Dla typowej firmy B2B warto wpuszczać wyszukiwawcze boty AI: OAI-SearchBot, Claude-SearchBot i PerplexityBot. O botach treningowych decyduj świadomie. Uwaga: blokada GPTBot nie usuwa Cię z ChatGPT Search, bo odpowiada za nią osobny agent. Sprawdź też ustawienia Cloudflare, bo od 15 września 2026 blokada kategorii trenowania obejmuje tam również Googlebota.
Ostatnie zdanie wymaga rozwinięcia, bo dotyczy zmiany, o której wiele firm nie wie. Jeśli ktoś u Ciebie kiedykolwiek włączył w panelu Cloudflare przełącznik blokujący boty AI, to ustawienie blokuje dziś także Googlebota. Nie AI. Googlebota, czyli robota decydującego o przeszukiwaniu i indeksowaniu treści Twojej strony.
Poniżej trzy grupy botów z pełną listą agentów, trzy gotowe pliki robots.txt do wklejenia, instrukcja sprawdzenia własnej konfiguracji i nasze jasne stanowisko w głównej sprawie zamiast miękkiego i okrągłego „to zależy”.
📎 Podstawy: Czym jest GEO (Generative Engine Optimization)?
Z tego artykułu dowiesz się:
- Czym jest plik robots.txt, jakie zawiera dyrektywy i czym różni się od znacznika noindex
- Które boty AI odpowiadają za trenowanie modeli, a które za widoczność w odpowiedziach
- Dlaczego blokada GPTBot nie wypisuje Cię z ChatGPT i który user-agent naprawdę o tym decyduje
- Jak wygląda gotowy plik robots.txt w trzech wariantach: pełne otwarcie, widoczność bez trenowania modeli AI i zamknięcie
- Co zmieniło się w Cloudflare we wrześniu 2026 i dlaczego może to kosztować Cię widoczność w Google
Czym jest plik robots.txt i jak działa?
Plik robots.txt to zwykły plik tekstowy w głównym katalogu witryny, w którym określasz, którym robotom pozwolisz na dostęp do których części serwisu. Działa według protokołu wykluczania robotów i musi znajdować się pod adresem
twojadomena.pl/robots.txt, bo tylko tam jest szukany.
Zawiera cztery podstawowe dyrektywy.
| Dyrektywa | Co robi |
User-agent | Wskazuje robota, którego dotyczą kolejne reguły. Gwiazdka oznacza wszystkie |
Disallow | Blokuje dostęp do konkretnych ścieżek. Sam ukośnik blokuje całą witrynę |
Allow | Pozwala na dostęp, zwykle jako wyjątek wewnątrz zablokowanego katalogu |
Sitemap | Wskazuje adres mapy witryny |
Anthropic (firma od Claude’a) obsługuje dodatkowo niestandardową dyrektywę Crawl-delay, która wyznacza minimalny odstęp między żądaniami. Przy dużym katalogu produktowym bywa rozsądniejsza niż blokada, bo ogranicza obciążenie serwera, nie odcinając widoczności.
Reguły czyta się od najbardziej szczegółowej. Jeśli plik zawiera blok dla User-agent: * oraz osobny blok dla GPTBot, ten drugi ma pierwszeństwo dla tego robota, a ogólny przestaje go dotyczyć.
Robots.txt, noindex i X-Robots-Tag: trzy różne narzędzia
Te trzy mechanizmy bywają mylone, a robią co innego.
Robots.txt mówi robotowi, żeby nie pobierał strony. Nie mówi, żeby jej nie pokazywał. Zablokowany adres URL może nadal pojawić się w wynikach wyszukiwania, bez opisu, jeśli prowadzą do niego odnośniki z innych witryn.
Znacznik noindex w sekcji nagłówkowej kodu HTML mówi, żeby strony nie umieszczać w indeksie. Żeby zadziałał, robot musi wejść na stronę i go przeczytać, więc jednoczesne zablokowanie adresu w robots.txt sprawia, że noindex nigdy nie zostanie odczytany. To jeden z częstszych błędów.
Nagłówek X-Robots-Tag robi to samo co noindex, ale na poziomie odpowiedzi serwera. Przydaje się przy plikach, w których nie ma gdzie wstawić znacznika, na przykład przy dokumentach PDF.
📎 Terminy techniczne i marketingowe wyjaśniamy w słowniku marketingowym WBIZNES
Trzy grupy botów AI i skutek blokady każdej z nich dla Twoich treści
Boty AI dzielą się na trzy grupy według tego, po co pobierają treść. Blokada każdej z nich ma inne konsekwencje, a większość firm blokuje wszystkie naraz, nie wiedząc, że traci przy tym widoczność.
Stan listy zweryfikowany w dokumentacji dostawców 21 sierpnia 2026 roku.
Grupa pierwsza: boty treningowe
Pobierają treść, która może posłużyć do trenowania modeli. Ich blokada nie wpływa na to, czy zostaniesz wymieniony w odpowiedzi.
| User-agent | Dostawca | Skutek blokady |
GPTBot | OpenAI | Treść nie trafia do przyszłych zbiorów treningowych. Bez wpływu na ChatGPT Search |
| ClaudeBot | Anthropic | Przyszła treść wyłączona ze zbiorów treningowych |
Google-Extended | Bez wpływu na indeksację w wyszukiwarce Google | |
CCBot | Common Crawl | Treść nie trafia do otwartego korpusu, z którego korzysta wielu dostawców |
CCBot zasługuje na osobne zdanie. Common Crawl to otwarty zbiór danych, z którego czerpie wiele podmiotów jednocześnie. Zablokowanie go działa szeroko, ale też nieodwracalnie w tym sensie, że nie kontrolujesz, kto z tego korpusu skorzysta.
Grupa druga: boty wyszukiwawcze
Odpowiadają za to, czy Twoja witryna pojawi się jako źródło odpowiedzi. Tutaj blokada realnie kosztuje.
| User-agent | Dostawca | Skutek blokady |
OAI-SearchBot | OpenAI | Brak w odpowiedziach wyszukiwania ChatGPT. Domena może nadal pojawić się jako link nawigacyjny |
| Claude-SearchBot | Anthropic | Ograniczona widoczność i mniejsza dokładność odpowiedzi Claude na temat firmy |
PerplexityBot | Perplexity | Brak indeksacji treści. Domena, nagłówek i krótkie streszczenie mogą pozostać |
Grupa trzecia: agenci działający na żądanie użytkownika
Pobierają stronę, bo człowiek właśnie o nią poprosił w rozmowie z asystentami AI.
| User-agent | Dostawca | Skutek blokady |
ChatGPR-User | OpenAI | Reguły mogą nie mieć zastosowania |
| Claude-User | Anthropic | Tak, respektuje |
Perplexity-User | Perplexity | Zwykle pomija |
claude-code | Antropic | Tak, respektuje |
Dodatkowo: bot reklamowy
OAI-AdsBot odwiedza wyłącznie strony docelowe zgłoszone jako reklamy w ChatGPT. Sprawdza zgodność z polityką reklamową i pomaga ustalić, kiedy pokazać reklamę. OpenAI zaznacza, że zebrane w ten sposób dane nie służą trenowaniu modeli. W odróżnieniu od trzech pozostałych botów OpenAI nie publikuje dla niego wykazu adresów IP.
Agenci, których warto usunąć ze starego pliku
anthropic-ai oraz
Claude-Web nie występują już w dokumentacji Anthropic. Jeśli masz je w robots.txt, to znaczy, że plik nie był aktualizowany od co najmniej roku. Same w sobie nie szkodzą, ale są dobrym sygnałem, że resztę reguł też warto przejrzeć i na nowo przejść konfigurację robots.txt.
Najczęstszy błąd: GPTBot to nie jest ChatGPT Search
Blokada GPTBot nie usuwa firmy z wyszukiwania w ChatGPT. Za obecność w generowanych odpowiedziach odpowiada osobny agent, OAI-SearchBot, i to jego ustawienie decyduje o widoczności.
Pomyłka bierze się stąd, że przez pierwszy rok GPTBot był jedynym botem OpenAI, o którym się mówiło. Firmy blokowały go, żeby nie oddawać treści do trenowania modeli, i przy okazji uznawały, że wypisały się z ChatGPT. Nie wypisały. Ale wiele z nich blokowało wtedy całą grupę jednym wpisem z gwiazdką i tym samym rzeczywiście się wypisało, choć z innego powodu, niż myślały.
Dokumentacja OpenAI podaje przy tym niuans, który trzeba znać, zanim ktoś sprawdzi własną domenę i uzna, że go oszukano. Witryny, które zrezygnowały z OAI-SearchBot, nie są pokazywane w odpowiedziach wyszukiwania ChatGPT, ale nadal mogą pojawiać się jako linki nawigacyjne. Różnica jest istotna: nie jesteś źródłem rekomendacji, choć Twój adres może się gdzieś wyświetlić.
Perplexity opisuje podobny mechanizm. Przy stronie zablokowanej w robots.txt treść nie zostanie zindeksowana, ale domena, nagłówek i krótkie streszczenie faktograficzne mogą pozostać.
Dwie rzeczy praktyczne na koniec tej sekcji.
Po pierwsze, jeśli dopuścisz jednocześnie GPTBot i OAI-SearchBot, OpenAI może wykorzystać wyniki jednego przejścia do obu zastosowań, żeby uniknąć podwójnego crawlowania. W logach nie zobaczysz więc podwójnego ruchu i nie jest to błąd. Po drugie, zmiana w skonfigurowanym pliku robots.txt potrzebuje około doby, zanim zostanie uwzględniona w wynikach wyszukiwania. Nie wyciągaj wniosków z testowania po dziesięciu minutach.
Trzy firmy, trzy różne polityki wobec botów użytkownika
Przy botach działających na żądanie człowieka każdy z trzech dostawców przyjął inne stanowisko. To rozróżnienie decyduje o tym, czym w ogóle da się chronić treść.
| Dostawca | Bot | Deklaracja |
Antropic | Claude-User | Wszystkie trzy boty firmy honorują robots.txt, łącznie z tym uruchamianym przez użytkownika |
| OpenAI | ChatGPT-User | Ponieważ działania inicjuje użytkownik, reguły robots.txt mogą nie mieć zastosowania |
Perplexity | Perplexity-User | Przy żądaniu zainicjowanym przez człowieka bot na ogół pomija reguły z pliku |
Wniosek jest niewygodny, ale trzeba go postawić wprost: jeśli treść naprawdę ma pozostać niedostępna w erze AI, plik robots.txt nie wystarczy. Potrzebne jest uwierzytelnienie, czyli logowanie albo inna forma kontroli dostępu na poziomie serwera i po jego stronie.
Dla firmy B2B ma to jednak drugą stronę medalu. Kiedy Twój potencjalny klient prosi asystenta o sprawdzenie konkretnej strony produktowej, za tym żądaniem stoi człowiek, który właśnie rozważa zakup. Blokowanie tej grupy botów odcina Cię od najbardziej wartościowego ruchu w całym zestawieniu.
Jak używać robots.txt i ustawić dostęp botów: 3 gotowe konfiguracje robots.txt
Co do zasady standardowy plik robot.txt nie blokuje automatycznie dostępności botów AI. Blokada występuje dopiero wtedy, gdy taka reguła zostanie świadomie wpisana.
Poniżej trzy warianty do wklejenia i dopasowania. Każdy zakłada, że reszta reguł dla wyszukiwarek pozostaje bez zmian.
⚠️ Przed wdrożeniem zwaliduj plik. Błąd składniowy potrafi zablokować Googlebota i skasować widoczność w klasycznych wynikach wyszukiwania.
Wariant A: pełne otwarcie
Domyślna rekomendacja dla firmy B2B.
# Boty treningowe
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
# Boty wyszukiwawcze
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Agenci na żądanie użytkownika
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xml
Wariant B: widoczność bez trenowania
Dla firmy, która ma negatywne stanowisko wobec wykorzystania treści do trenowania modeli, ale chce być wymieniana w odpowiedziach.
# Boty treningowe: blokada
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Boty wyszukiwawcze: dostęp
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Agenci na żądanie użytkownika: dostęp
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Perplexity-User
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xml
To jest wariant, który poleca się najczęściej firmom mającym opory wobec trenowania modeli. Zachowuje widoczność w odpowiedziach i odcina wyłącznie zbiory treningowe.
Wariant C: zamknięcie wszystkiego
Dla wydawcy, serwisu abonamentowego i każdego, kogo produktem jest treść.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Perplexity-User
Disallow: /
⚠️ Ten wariant nie jest zabezpieczeniem, tylko prośbą. Wyjaśniamy to w dalszej części tekstu.
Co zmieniło się w Cloudflare i dlaczego dotyczy Googlebota?
Cloudflare wycofał prosty przełącznik blokujący boty i zastąpił go podziałem crawlerów AI na trzy kategorie: wyszukiwanie, agenci i trenowanie. Zmiana weszła w życie 15 września 2026 i objęła wszystkich klientów, łącznie z planem darmowym.
Najważniejszy jest jeden jej element, bo dotyczy czegoś zupełnie innego niż AI. Crawlery wielozadaniowe, czyli takie, które łączą wyszukiwanie z trenowaniem, są traktowane zgodnie ze wszystkimi swoimi zachowaniami, według najbardziej restrykcyjnej obowiązującej reguły. W praktyce oznacza to, że Googlebot, Applebot i Bingbot są blokowane u klientów, którzy wybrali blokowanie kategorii trenowania — przez nowe opcje albo przez dawną usługę blokowania botów AI.
Przez dwa poprzednie lata włączenie tego przełącznika było najczęstszą reakcją firm na temat botów AI. Jedno kliknięcie, poczucie kontroli, temat zamknięty. Dziś to samo kliknięcie odcina wyszukiwarkę Google, a firma najczęściej nie ma pojęcia, że coś się zmieniło.
Pozostałe elementy zmiany wyglądają tak:
- Strefy, w których zapisano jawne ustawienie przed wejściem zmiany, zostały przy swoim wyborze. Brak ustawienia oznaczał wejście reguł domyślnych
- Nowe witryny i klienci planu darmowego mają domyślną blokadę botów treningowych i agentowych na stronach z reklamami
- Status zweryfikowanego bota nie oznacza już dostępu wszędzie. Dostęp zależy od kategorii, a boty odtwarzające treść w całości nie mogą uzyskać weryfikacji
- Rozszerzenie Content Signals zyskało parametr use z trzema wartościami:
immediate, reference i full. To sygnał preferencji, nie blokada techniczna
Co sprawdzić w panelu. Wejdź w ustawienia ruchu AI i zobacz, czy blokada kategorii trenowania jest włączona. Jeśli tak, a Twoja firma żyje z widoczności w wyszukiwarce, wyłącz ją albo zapisz jawne ustawienie zgodne z wariantem B z poprzedniej sekcji. Ta sama zakładka pokazuje, czy strefa korzysta dziś z reguł domyślnych, czy z Twojego wcześniejszego wyboru.
🎧 Posłuchaj: Skuteczny marketing, odcinek 219: Masz teraz mniej ZAPYTAŃ niż zwykle? Błąd pojawił się wiele miesięcy wcześniej.
Robots.txt to nie jest zabezpieczenie
Plik robots.txt działa jak prośba, nie zamek. Mówi robotom, czego sobie nie życzysz, i liczy na to, że zastosują się dobrowolnie. Trzy fakty pokazują, gdzie kończy się jego skuteczność.
Dostawcy sami zastrzegają wyjątki. OpenAI pisze, że przy ChatGPT-User reguły z pliku mogą nie mieć zastosowania, bo żądanie inicjuje człowiek. Perplexity opisuje to samo przy Perplexity-User. To nie jest obchodzenie zasad, tylko jawnie zadeklarowana polityka.
Ciąg user-agenta można podrobić. Każdy skrypt może przedstawić się jako GPTBot, bo to zwykły tekst w nagłówku żądania. Jedynym wiarygodnym sposobem potwierdzenia, że ruch pochodzi od danego dostawcy, jest porównanie adresu IP z publikowanym przez niego wykazem.
Wszystkie trzy firmy takie wykazy udostępniają, w formacie JSON i pod stałymi adresami. OpenAI publikuje osobny plik dla każdego bota, Perplexity podaje listę w dokumentacji, a Anthropic utrzymuje jeden wspólny wykaz dla wszystkich swoich agentów, bez rozbicia na poszczególne. Pliki są aktualizowane na bieżąco, więc weryfikację trzeba wykonywać wobec bieżącej wersji, nie wobec kopii sprzed pół roku.
Jest przy tym pułapka, która potrafi wywrócić całą konfigurację. Adresy botów należą w większości do publicznej infrastruktury chmurowej: Google Cloud, Azure i AWS. Wykazy podają pojedyncze adresy, ale kuszące skrócenie roboty w postaci zablokowania całych zakresów tych dostawców odetnie przy okazji setki niepowiązanych usług. Blokuj wyłącznie to, co jest na liście.
Zdarzają się przypadki obchodzenia reguł i dyrektyw robots.txt. Cloudflare udokumentował w sierpniu 2025 sytuację, w której po zablokowaniu zadeklarowanych crawlerów AI, Perplexity ruch do tych samych treści trwał z rotujących adresów IP, pod ogólnymi ciągami przeglądarkowymi. To ustalenie Cloudflare, nie deklaracja dostawcy, ale pokazuje skalę problemu.
Wniosek praktyczny: treść, która naprawdę ma pozostać poza zasięgiem, wymaga logowania. Dokumentacja projektowa, cenniki indywidualne i materiały dla partnerów nie powinny leżeć w otwartym katalogu głównym z wpisem Disallow w nadziei, że nikt tam nie zajrzy.
Kiedy blokada botów AI ma sens?
W czterech sytuacjach blokada jest uzasadniona. Znajomość tych czterech przypadków zamienia odruch i intuicję w świadomą decyzję.
- Treść jest produktem. Wydawca, serwis abonamentowy, płatna baza danych. Jeśli klient płaci za dostęp do tekstu, oddawanie go za darmo modelom podważa model biznesowy.
- Koszt infrastruktury. Przy dużym serwisie ruch crawlerów potrafi realnie obciążyć serwer. Zanim sięgniesz po blokadę, sprawdź Crawl-delay, który ogranicza częstotliwość żądań, nie odcinając widoczności.
- Treść objęta umową. Dokumentacja projektowa, materiały dla partnerów, cenniki indywidualne. Tu jednak wraca argument z poprzedniej sekcji: właściwym narzędziem jest logowanie, nie wpis w pliku tekstowym.
- Stanowisko właścicielskie wobec trenowania modeli. Decyzja światopoglądowa, którą warto uszanować. Realizuje się ją wariantem B: blokadą botów treningowych przy zachowaniu wyszukiwawczych.
Dla producenta maszyn, wykonawcy konstrukcji czy dostawcy automatyki żadna z pierwszych trzech sytuacji zwykle nie zachodzi. Firma B2B nie sprzedaje treści, tylko rozwiązania, a treść jest narzędziem sprzedaży.
Jak sprawdzić własną konfigurację w 20 minut?
Do wykonania podstawowego audytu nie potrzebujesz płatnego narzędzia. Wystarczy przeglądarka, terminal oraz dostęp do panelu Cloudflare lub innego CDN/WAF.
Ten audyt odpowie na ważne pytanie: czy boty wykorzystywane przez OpenAI, Perplexity i Anthropic mogą technicznie dotrzeć do Twojej strony. Nie gwarantuje jednak, że domena zostanie zaindeksowana, wysoko oceniona ani zacytowana w odpowiedziach AI.
1. Sprawdź plik robots.txt
Otwórz w przeglądarce: https://twojadomena.pl/robots.txt
Poszukaj reguł dotyczących crawlerów, które są istotne dla Twojego celu:
GPTBot
OAI-SearchBot
PerplexityBot
ClaudeBot
Claude-SearchBot
Warto też przejrzeć ogólną sekcję:
User-agent: *
Szczególną uwagę zwróć na regułę:
Disallow: /
Jeśli znajduje się pod właściwym botem albo pod User-agent: *, może blokować całe serwisy lub ich dużą część.
Nie mieszaj też różnych celów. GPTBot służy przede wszystkim do pozyskiwania treści na potrzeby rozwoju modeli OpenAI, a OAI-SearchBot jest crawlerem odpowiedzialnym za wykorzystywanie stron w funkcjach wyszukiwania ChatGPT. Jeśli zależy Ci na widoczności w ChatGPT Search, kluczowy jest właśnie OAI-SearchBot, nie sam GPTBot.
Podobnie warto rozróżnić roboty Anthropic. ClaudeBot jest związany z pozyskiwaniem danych dla rozwoju modeli, natomiast Claude-SearchBot dotyczy wyników wyszukiwania Claude.
Jeżeli chcesz udostępnić publiczną treść do wyszukiwania ChatGPT, ale nie chcesz dopuścić jej do pozyskiwania przez GPTBot, konfiguracja może wyglądać tak:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Przed wdrożeniem takiej reguły sprawdź całą obecną konfigurację. W robots.txt liczy się również kolejność, dokładność grup i reguły odziedziczone z szerokiej sekcji User-agent: *.
2. Sprawdź odpowiedź serwera
Serwer, CDN lub zapora aplikacyjna mogą traktować automatyczny ruch inaczej niż zwykłą przeglądarkę. Dlatego sprawdź, jak strona reaguje na deklarowany user-agent danego crawlera.
W terminalu uruchom:
bash
curl -sS -A „GPTBot” -I https://twojadomena.pl/
curl -sS -A „OAI-SearchBot” -I https://twojadomena.pl/
curl -sS -A „ClaudeBot” -I https://twojadomena.pl/
curl -sS -A „Claude-SearchBot” -I https://twojadomena.pl/
curl -sS -A „PerplexityBot” -I https://twojadomena.pl/
Warto wykonać też test normalnego żądania GET, a nie wyłącznie zapytania nagłówkowego HEAD:
bash
curl -sS -A „OAI-SearchBot” -L https://twojadomena.pl/ -o /dev/null -w „%{http_code} %{url_effective}\n”
Parametr -L śledzi przekierowania, a wynik pokazuje końcowy kod HTTP oraz adres URL, na który trafiło żądanie.
Testuj nie tylko homepage. Sprawdź również kilka istotnych adresów: podstronę oferty, artykuł ekspercki, case study oraz ważny landing page.
Ten test ma ograniczenie: żądanie wychodzi z Twojego adresu IP i jedynie podaje się za danego bota poprzez nagłówek User-Agent. Nie dowodzi, że rzeczywisty crawler z oficjalnego zakresu IP przejdzie przez wszystkie reguły CDN i WAF.
3. Zweryfikuj ruch w Cloudflare
Prawidłowy robots.txt nie pomoże, jeśli Cloudflare albo inny WAF zablokuje crawlra przed dotarciem do strony.
W panelu Cloudflare przejrzyj przede wszystkim:
- reguły WAF i firewall rules,
- ustawienia Bot Fight Mode oraz Super Bot Fight Mode,
- rate limiting rules,
- reguły geoblokady,
- blokady po ASN, reputacji IP lub kraju,
- niestandardowe reguły ograniczające ruch automatyczny,
- zdarzenia bezpieczeństwa w Security Events.
Nie buduj reguły zezwalającej wyłącznie na podstawie User-Agent. Ten nagłówek da się łatwo podrobić. W przypadku Perplexity zalecaną praktyką jest zestawienie deklarowanego User-Agent z adresem IP znajdującym się na opublikowanej liście crawlera.
Tę samą zasadę stosuj do OpenAI i Anthropic: najpierw identyfikuj oficjalne zakresy IP danego crawlera, dopiero potem twórz wyjątek w zaporze.
4. Sprawdź, czy to prawdziwy bot
W logach możesz zobaczyć ruch z user-agentem GPTBot, OAI-SearchBot, ClaudeBot czy PerplexityBot. To jeszcze nie znaczy, że odwiedziny pochodziły od właściwego dostawcy.
User-Agent jest deklaracją wysyłaną przez klienta i może zostać sfałszowany. Weryfikuj więc źródłowy adres IP z aktualnymi listami publikowanymi przez operatorów crawlerów:
- OpenAI publikuje osobne wykazy zakresów IP dla swoich robotów.
- Anthropic publikuje informacje o swoich crawlerach i ich przeznaczeniu.
- Perplexity publikuje listy adresów dla PerplexityBot oraz zaleca używanie ich w regułach zapory.
Adres spoza oficjalnego wykazu może oznaczać podszywanie się pod bota, a nie rzeczywisty ruch OpenAI, Anthropic czy Perplexity.
5. Przejrzyj logi i daj zmianom czas
Szukaj w logach CDN, WAF i serwera wpisów zawierających:
GPTBot
OAI-SearchBot
ClaudeBot
Claude-SearchBot
PerplexityBot
Pamiętaj, że logi originu nie zawsze pokażą pełny obraz. Cloudflare może zatrzymać żądanie na edge’u, zanim dotrze ono do serwera. W takim przypadku kluczowe są logi bezpieczeństwa i zdarzenia WAF w panelu CDN.
Brak wpisów nie jest automatycznym dowodem blokady. Może oznaczać, że crawler nie odkrył jeszcze strony, nie uznał jej za priorytetową, ruch został zatrzymany przed originem albo logowanie nie obejmuje danej warstwy infrastruktury.
Po zmianie robots.txt lub reguł WAF odczekaj co najmniej 24 godziny. OpenAI podaje, że aktualizacja zasad dla funkcji wyszukiwania może zająć około dobę, a Perplexity wskazuje, że odzwierciedlenie zmian w systemach może potrwać do 24 godzin. Nie jest to jednak gwarancja ponownego crawlu, indeksacji ani cytowania strony dokładnie po tym czasie.
Szybki test widoczności
Możesz dodatkowo wykonać test w ChatGPT z włączonym wyszukiwaniem. To jednak test widoczności w konkretnej odpowiedzi, a nie techniczny test robots.txt.
Zamiast pytać:
„Czy znasz firmę XYZ?”
zadaj pytanie, na które naturalną i najbardziej użyteczną odpowiedzią powinna być konkretna podstrona firmy, na przykład:
„Jakie rozwiązania w zakresie automatyzacji magazynu oferuje firma XYZ dla producentów z branży spożywczej?”
albo:
„Porównaj podejście firmy XYZ do [konkretnego problemu] z typowymi rozwiązaniami dostępnymi na polskim rynku. Podaj źródła.”
Jeżeli ChatGPT zacytuje Twoją domenę, to pozytywny sygnał: w tej konkretnej sytuacji system miał dostęp do strony i uznał ją za przydatne źródło. Nie potwierdza jednak, że wszystkie sekcje witryny są dostępne dla botów ani że robots.txt jest skonfigurowany bezbłędnie.
Brak cytowania również nie dowodzi blokady. Źródło mogło przegrać ranking z inną stroną, crawler mógł jeszcze nie odwiedzić URL-a, a pytanie mogło być zbyt ogólne lub nie odpowiadać treści witryny. Dopuszczenie OAI-SearchBot to podstawa technicznej dostępności dla wyszukiwania ChatGPT, ale nie obietnica cytowania w każdej odpowiedzi.
Najkrótsza checklista
- robots.txt nie blokuje OAI-SearchBot, PerplexityBot ani crawlera wyszukiwawczego Anthropic, jeśli zależy Ci na widoczności w tych usługach.
- Kluczowe URL-e zwracają prawidłową odpowiedź HTTP i nie prowadzą do challenge’u, błędu ani ekranu logowania.
- Cloudflare/WAF nie blokuje zweryfikowanych adresów IP crawlerów.
- Logi CDN i serwera potwierdzają, że ruch nie jest odrzucany po drodze.
- Testy w ChatGPT lub Perplexity traktujesz jako monitoring efektu widoczności, a nie dowód technicznej poprawności konfiguracji.
- Po zmianach czekasz co najmniej 24 godziny, a następnie ponownie sprawdzasz logi i wyniki.
📎 Po sprawdzeniu technikaliów zmierz efekt: jak sprawdzić widoczność firmy w AI
📎 Pełen zakres sprawdzenia witryny, który oferujemy: audyt SEO
Czy sztuczna inteligencja i boty AI powinny mieć dostęp do Twojej strony? Rekomendacja WBIZNES
Wpuszczaj boty wyszukiwawcze. O botach treningowych decyduj świadomie, ale nie przez przypadek. Boty użytkownika zostaw otwarte, bo za każdym ich żądaniem stoi człowiek, który właśnie pyta o Twoją firmę.
Uzasadnienie mieści się w trzech zdaniach.
- Firma B2B nie sprzedaje treści, tylko rozwiązania techniczne, a treść jest narzędziem sprzedaży.
- Blokada botów wyszukiwawczych wyklucza ją z odpowiedzi, w których kupujący układa krótką listę dostawców, i nie widać tego w żadnym raporcie, bo nie ma sesji.
- Blokada botów treningowych takiego skutku nie ma, więc to jedyne miejsce, gdzie decyzja jest realnie otwarta.
W praktyce oznacza to wariant A dla większości firm i wariant B dla tych, które mają określone stanowisko wobec trenowania modeli. Wariant C zostawiamy wydawcom.
"Najczęściej wygląda to tak, że plik robots.txt jest w porządku, a ruchu i tak nie ma. Problem nie polega na blokadzie. Problem polega na tym, że nawigacja po stronie jest utrudniona i roboty również są w ten sposób wyhamowywane. Do tego dołóżmy treść, której nie warto cytować i wychodzi na to, że firma przez półtora roku była przekonana, że po prostu jej nie polecają. A po prostu strona nie było godna zacytowania względem konkurencji."
📎 Kiedy boty już wejdą, muszą mieć co przeczytać: jak pisać opisy produktów technicznych oraz dane strukturalne dla B2B i firm technicznych
📚 Skoro tu jesteś, te treści Cię zainteresują
- Ile kosztuje pozycjonowanie AI (GEO) w Polsce?
- Czy llms.txt ma sens? Fakty i mity
- Monitoring widoczności w ChatGPT i Perplexity — narzędzia i metoda
- Zrealizowane projekty WBIZNES
🎬 Materiały wideo Wojtka Bizuba
Podsumowanie
Decyzja o botach AI nie jest jedną decyzją, tylko trzema. Osobno dla trenowania, osobno dla widoczności i osobno dla żądań inicjowanych przez człowieka.
- Blokada GPTBot, ClaudeBot i Google-Extended nie wpływa na to, czy zostaniesz wymieniony w odpowiedzi
- Blokada OAI-SearchBot, Claude-SearchBot i PerplexityBot wyklucza Cię z odpowiedzi, i to jest realny koszt
- Anthropic respektuje robots.txt przy wszystkich swoich botach, OpenAI i Perplexity zastrzegają wyjątek dla żądań użytkownika
- Plik robots.txt jest prośbą, nie zabezpieczeniem. Treść poufna wymaga logowania
- Najczęstszą przyczyną niewidoczności nie jest robots.txt, tylko reguła zapory, o której nikt nie pamięta
- Blokada botów AI w Cloudflare obejmuje dziś również Googlebota, jeśli dotyczy kategorii trenowania
Jeśli chcesz wiedzieć, jak wygląda sytuacja Twojej strony firmowej, zacznij od czynności na dwie minuty. Wpisz w przeglądarce adres własnego pliku robots.txt i sprawdź, czy nie ma w nim wpisów anthropic-ai albo Claude-Web. Jeśli są, plik nie był ruszany od roku, a przez ten czas zmieniła się cała lista agentów.
Jeśli wolisz to zlecić: sprawdzimy, czy Twoja strona nie blokuje botów AI: plik robots.txt, reguły zapory, sieć dostarczania treści i realną odpowiedź serwera dla każdego agenta. Dostajesz listę poprawek z priorytetami.
📎 Zobacz, na czym polega pozycjonowanie AI (GEO) dla firm przemysłowych, budowlanych i technicznych
FAQ: najczęściej zadawane pytania
Czy blokowanie GPTBota usunie mnie z ChatGPT?
Nie. GPTBot pobiera treści na potrzeby trenowania modeli, a za obecność w odpowiedziach wyszukiwania odpowiada osobny agent, OAI-SearchBot. Możesz zablokować pierwszego i pozostać widoczny dzięki drugiemu. Dopiero blokada OAI-SearchBot sprawia, że witryna przestaje być pokazywana w odpowiedziach, choć może nadal pojawiać się jako link nawigacyjny.
Które roboty AI faktycznie respektują dyrektywy i reguły robots.txt?
Wszystkie trzy boty Anthropic, łącznie z uruchamianym przez użytkownika Claude-User. OpenAI deklaruje przestrzeganie reguł dla GPTBot i OAI-SearchBot, ale przy ChatGPT-User zaznacza, że reguły mogą nie mieć zastosowania. Perplexity przy Perplexity-User zwykle je pomija, bo żądanie inicjuje człowiek.
Czy blokowanie crawlerów AI szkodzi SEO i pozycjom w wyszukiwarce Google?
Blokada GPTBot, ClaudeBot i PerplexityBot nie wpływa na klasyczne wyniki wyszukiwania. Blokada Google-Extended również nie, bo dotyczy wyłącznie produktów generatywnych. Uwaga na ustawienia Cloudflare: od 15 września 2026 blokada kategorii trenowania obejmuje tam także Googlebota, a to już bezpośrednio uderza w widoczność w Google.
Co dokładnie zmieniło się w Cloudflare we wrześniu 2026?
Prosty przełącznik blokujący boty AI został zastąpiony podziałem na trzy kategorie: wyszukiwanie, agenci i trenowanie. Wielozadaniowe crawlery AI, w tym Googlebot, Applebot i Bingbot, są traktowane według najbardziej restrykcyjnej reguły. Kto ma włączoną blokadę trenowania, blokuje przy okazji wyszukiwarki. Jawne ustawienia zapisane przed 15 września 2026 zostały uszanowane.
Jaka jest różnica między robots.txt a znacznikiem noindex?
Robots.txt zabrania pobrania strony, noindex zabrania umieszczenia jej w indeksie. To nie to samo: adres zablokowany w robots.txt może nadal pojawić się w wynikach bez opisu. Co ważniejsze, jednoczesne użycie obu narzędzi nie działa, bo robot musi wejść na stronę, żeby odczytać noindex.
Czy robots.txt kontroluje dostęp i może blokować boty AI tylko na wybranych podstronach?
Tak. Zamiast ukośnika w dyrektywie Disallow podaj konkretną ścieżkę, na przykład katalog z dokumentacją albo strefę dla partnerów. Uwaga: sam wpis w pliku nie zabezpiecza treści, bo część agentów działających na żądanie użytkownika reguł nie stosuje. Materiały poufne wymagają logowania.
Jak często aktualizować robots.txt pod kątem nowych botów i modeli AI?
Raz na pół roku wystarczy przy typowej witrynie firmowej. Lista agentów zmienia się kwartalnie: Claude-SearchBot pojawił się w dokumentacji na początku 2026, OAI-AdsBot kilka miesięcy później, a anthropic-ai i Claude-Web wypadły z niej całkowicie. Przy przeglądzie sprawdź też ustawienia zapory, bo to tam najczęściej powstają blokady, o których nikt nie pamięta.
Źródła danych:
- OpenAI, Overview of OpenAI Crawlers, https://developers.openai.com/api/docs/bots
- wykazy adresów IP: https://openai.com/gptbot.json, https://openai.com/searchbot.json, https://openai.com/chatgpt-user.json
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler? https://support.anthropic.com/en/articles/8896518
- wykaz adresów IP: https://claude.com/crawling/bots.json
- Perplexity, Perplexity Crawlers wraz z sekcją o konfiguracji zapory: https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Perplexity, centrum pomocy, How does Perplexity follow robots.txt, https://www.perplexity.ai/help-center/en/articles/10354969-how-does-perplexity-follow-robots-txt
- Google Search Central, dokumentacja Google-Extended: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=pl
- Cloudflare, https://blog.cloudflare.com/content-independence-day-ai-options/
- Cloudflare, ustalenia dotyczące niezadeklarowanych crawlerów Perplexity (08.2025): https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/
