robots.txt ellenőrzése
robots.txt fájl beillesztése és URL-ek tesztelése: engedélyezett-e a crawling?
Hamarosan elérhető
Ez az eszköz még fejlesztés alatt áll. Értesítünk, ha elkészül.
Miről szól ez az eszköz?
Ellenőrizd a robots.txt fájlodat: szintaxis validálás, szabályok elemzése, és annak tesztelése, hogy egy adott URL engedélyezett-e vagy tiltott a keresőrobotok számára.
Hogyan használd a(z) robots.txt ellenőrzése-t?
-
Robots.txt beillesztése
Másold be a robots.txt fájl tartalmát.
-
Szintaxis ellenőrzés
Az eszköz elemzi a szabályokat és jelzi a hibákat.
-
URL tesztelés
Add meg egy URL-t, hogy teszteld a blokkolási szabályokat.
Mikor van rá szükséged?
-
SEO audit
Robots.txt helyes működésének ellenőrzése SEO audit során.
-
Hibakeresés
Váratlan indexelési problémák felderítése a robots.txt szabályok elemzésével.
-
Bejárás szabályozás
Privát oldalak és adminisztrációs felületek tiltásának ellenőrzése.
A robots.txt fájl
A robots.txt a Robots Exclusion Protocol része: egy egyszerű szöveges fájl a weboldal gyökerében, amely irányelveket ad a keresőrobotoknak.
Helyes beállítása kritikus a SEO szempontjából – hibás szabályok megakadályozhatják fontos oldalak indexelését.
Hasznos tippek
-
Mindig helyezz el Sitemap hivatkozást a robots.txt fájlban.
-
A Disallow: / szabály az egész oldalt blokkolja – óvatosan használd.
-
Tesztelj konkrét URL-eket, hogy biztosan a kívánt szabályok érvényesülnek.
Gyakori kérdések
- Robots.txt fájlok szintaxis ellenőrzésére és szabályok tesztelésére szolgál.
- Igen, az ellenőrzés a böngészőben történik.
- Szöveges fájl a weboldal gyökerében, amely megmondja a keresőrobotoknak, melyik URL-eket bejárhatják és melyeket nem.
- Igen, megadhatod az URL-t és a botot, és az eszköz megmutatja, engedélyezett-e.
- Igen, az eszköz mobilon is elérhető.
- Igen, a hibás sorok kiemelve jelennek meg magyarázattal.