robots.txt generátor
robots.txt összeállítása varázslóval: user-agent, Disallow/Allow, crawl-delay, sitemap, AI-bot tiltás. Másolható, letölthető.
Miről szól ez az eszköz?
A robots.txt generátor varázslóval állítja össze a webhelyed robots.txt fájlját, amely megmondja a keresőrobotoknak, mely részeket járhatják be és melyeket nem. Beállíthatod a user-agentet, a tiltott (Disallow) és engedélyezett (Allow) útvonalakat, a crawl-delay értéket és a sitemap címét, sőt egy kattintással letilthatod az AI-botokat is. Az eszköz azonnal mutatja a kész fájlt, amelyet másolhatsz vagy letölthetsz. Minden a böngésződben fut.
Hogyan használd a(z) robots.txt generátor-t?
-
Sablon vagy kézi
Indulj egy gyors sablonból, vagy állítsd be a user-agentet és a szabályokat kézzel.
-
Útvonalak
Add meg a Disallow (tiltott) és Allow (engedélyezett) útvonalakat a listákban.
-
Sitemap és botok
Írd be a sitemap URL-jét, és szükség szerint kapcsold be az AI-bot tiltást.
-
Mentés
Másold vagy töltsd le a fájlt, és tedd a webhelyed gyökerébe robots.txt néven.
Mikor van rá szükséged?
-
Admin elrejtése
A belső, admin- vagy kosároldalak kizárása a keresők bejárásából.
-
Sitemap jelzése
A sitemap URL megadása segíti a keresőket az összes fontos oldal megtalálásában.
-
AI-botok kezelése
Döntés arról, hogy az AI-crawlerek használhatják-e a tartalmadat, egy kattintással.
-
WordPress beállítás
Kész sablon a tipikus WordPress mappák helyes kezeléséhez.
A robots.txt fő direktívái
| Direktíva | Jelentése |
|---|---|
| User-agent | Melyik robotra vonatkoznak a szabályok |
| Disallow | Ezt az útvonalat ne járja be |
| Allow | Ezt az útvonalat bejárhatja (kivétel) |
| Crawl-delay | Várakozás kérések között (mp) |
| Sitemap | A sitemap.xml teljes URL-je |
Hogyan működik a robots.txt?
A robots.txt a webhely és a keresőrobotok közötti udvariassági megállapodás. Amikor egy robot meglátogat egy oldalt, először a gyökérben lévő robots.txt fájlt kéri le, és megnézi, mely útvonalakat járhatja be. A fájl user-agent blokkokból áll: minden blokk megmondja, hogy egy adott robotra (vagy mindegyikre, a * jellel) milyen Disallow és Allow szabályok vonatkoznak.
Fontos megérteni a korlátait. A robots.txt nem biztonsági eszköz: csak kérés, amelyet a jóindulatú robotok betartanak, de nem kényszerít ki semmit. A tiltott URL-ek továbbra is nyilvánosan elérhetők maradnak, ezért érzékeny tartalmat sosem szabad csak ezzel védeni. Emellett a Disallow megakadályozza a bejárást, de nem feltétlenül az indexelést – erre a noindex meta tag való.
A modern web új kérdést hozott: az AI-botokat. Egyre több crawler gyűjt adatot nyelvi modellek tanításához vagy AI-keresőkhöz. A robots.txt-ben ezeket név szerint (pl. GPTBot, CCBot, Google-Extended) engedélyezheted vagy tilthatod, így te döntöd el, része lesz-e a tartalmad az AI-ökoszisztémának.
Hasznos tippek
-
A fájl mindig a gyökérben legyen, pontosan robots.txt néven – alkönyvtárban nem érvényes.
-
Mindig add meg a sitemap sorát – ez az egyik legegyszerűbb SEO-nyereség.
-
Sose tiltsd le véletlenül az egész oldalt (Disallow: /) éles környezetben – ez kizárhat a keresőből.
-
Bizalmas tartalmat ne robots.txt-vel rejts – használj jelszót vagy szerveroldali védelmet.
Gyakori kérdések
- A robots.txt egy egyszerű szöveges fájl a webhely gyökerében (pelda.hu/robots.txt), amely a keresőrobotoknak ad utasításokat: mely útvonalakat járhatják be és melyeket ne. A legtöbb komoly robot (Googlebot, Bingbot) tiszteletben tartja.
- Nem. A robots.txt csak kérés, nem hozzáférés-korlátozás. A tiltott URL-ek továbbra is elérhetők, ha valaki ismeri a címet, és a rosszindulatú botok figyelmen kívül hagyhatják. Bizalmas tartalmat jelszóval vagy szerveroldali védelemmel óvj.
- A Disallow megakadályozza a bejárást, de a tiltott oldal még megjelenhet a találatokban (URL-ként). A noindex meta tag viszont kifejezetten kizárja az indexelésből. Fontos: ha egy oldalt Disallow-val tiltasz, a Google nem is látja a rajta lévő noindexet.
- Ez döntés kérdése. Ha nem szeretnéd, hogy a tartalmadat AI-modellek betanításához vagy AI-keresők használják, letilthatod a GPTBot, CCBot, Google-Extended és társai botokat. Ha viszont láthatóságot szeretnél az AI-keresőkben, hagyd őket engedélyezve.
- Mindig a webhely gyökerébe, pontosan „robots.txt” néven: pelda.hu/robots.txt. Aldomainenként külön fájl kell. Alkönyvtárban (pelda.hu/mappa/robots.txt) elhelyezve nem érvényes.
- Nem. A fájl összeállítása teljes egészében a böngésződben történik – semmi nem kerül feltöltésre.