📖 Becsült olvasási idő: 7 perc
👉 Ebből a cikkből megtudod:
- mi az a robots.txt, és miben különbözik a sitemaptól
- mire használható valójában ez a kis fájl
- milyen hibák fordulhatnak elő, ha rosszul van beállítva
- honnan tudod meg két perc alatt, mi van beállítva a saját oldaladon
- mire figyelj, ha bővül vagy átalakul a weboldalad
Képzeld el, hogy a boltod bejáratára kiírsz egy táblát: "A raktárba ne gyertek be, az irodába se, de a bemutatóterembe szívesen látunk mindenkit." A legtöbb vásárló el sem olvassa ezt a táblát – egyszerűen bemegy a bemutatóterembe, mert oda akar menni. De egy fegyelmezett, szabálykövető futár vagy ellenőr pontosan ez alapján tájékozódik: hova mehet be, és hova nem.
A robots.txt pontosan egy ilyen tábla – csak nem a bolt bejáratán, hanem a weboldaladon, és nem embereknek, hanem a keresőmotorok robotjainak szól.
Mi az a robots.txt? A robots.txt egy egyszerű szövegfájl a weboldaladon, amely útmutatást ad a keresőmotorok robotjainak arról, mely részeit térképezhetik fel a weboldalnak, és melyeket ne.
A robots.txt tehát egy kérés, nem egy zár – erről bővebben is szó lesz lejjebb.
A robots.txt röviden:
- egy egyszerű, olvasható szövegfájl, nem grafikus beállítás
- elsősorban azt jelzi a keresőrobotoknak, mely részek feltérképezését nem kérjük
- nem ugyanaz, mint a sitemap, sőt, gyakran együtt dolgoznak
- rosszul beállítva akár az egész oldal láthatóságát is veszélyeztetheti
- a legtöbb modern weboldal-rendszer automatikusan generálja, alapbeállítással
Ha csak egy dolgot csinálsz meg ebből a cikkből: írd be a böngésződbe a saját weboldalad címét úgy, hogy a végére odaírod: /robots.txt, és nézd meg, mi jelenik meg. Két perc, és már sokat elárul arról, mit "mondasz" jelenleg a keresőmotoroknak.
Miért nem csak technikai kérdés ez neked, mint vállalkozásnak
A robots.txt azok közé a fájlok közé tartozik, amelyekről a legtöbb vállalkozó soha nem hall – egészen addig, amíg valami el nem romlik miatta. Ha ez a fájl rosszul van beállítva, akár azt is előírhatja a keresőmotoroknak, hogy ne térképezzék fel a teljes weboldaladat. Ez ritkán fordul elő, de amikor mégis, komoly és nehezen észrevehető problémát okozhat.
Neked nem kell tudnod szerkeszteni ezt a fájlt. Azt viszont érdemes tudnod, hogy létezik, mire szolgál, és hogy időről időre érdemes megkérdezni azt, aki az oldaladat kezeli: "Rendben van a robots.txt fájlunk, nem tiltunk le véletlenül semmi fontosat?"
Mire használható valójában a robots.txt
A robots.txt legfontosabb szerepe az, hogy útmutatást adjon a keresőrobotoknak arról, mely részek feltérképezését kérjük, és melyeket nem.
Nem publikus részek elrejtése a feltérképezés elől
Sok weboldalon vannak olyan technikai részek – például egy admin felület vagy egy belső keresési eredményoldal –, amelyeknek semmi értelme nincs a keresőmotorok szemszögéből. A robots.txt jelezheti, hogy ezekkel ne is foglalkozzanak.
A feltérképezési kapacitás ésszerű felhasználása
Nagyobb weboldalaknál a keresőrobotok korlátozott "figyelmét" érdemes a valóban fontos tartalmakra irányítani, nem apró, technikai jellegű oldalakra. A robots.txt segíthet ebben az irányításban.
Együttműködés a sitemappal
A robots.txt fájlban gyakran meg szokták adni, hol található a sitemap. Így a kettő nem versenytárs, hanem egymást kiegészítő eszköz: az egyik megmondja, hova ne menjenek a robotok, a másik pedig megkönnyíti, hogy megtalálják, amit igen.
| Fájl | Fő szerepe | Mit NEM garantál |
|---|
| robots.txt | Jelzi, mely részeket ne térképezzék fel a keresőrobotok | Nem tiltja meg biztosan a megjelenést a Google-ben |
| sitemap.xml | Felsorolja a fontos oldalakat a felfedezés megkönnyítésére | Nem garantálja az indexelést vagy a rangsorolást |
Amit fontos tudni: a robots.txt nem biztonsági eszköz
Ez az egyik legfontosabb és leggyakrabban félreértett pont: a robots.txt egy kérés a keresőmotorok felé, nem egy technikai zár. A nagy keresőmotorok, például a Google, általában figyelembe veszik ezeket a kéréseket, de a fájl önmagában nem akadályozza meg, hogy valaki emberként megnyissa a letiltott oldalt, ha ismeri a pontos címét.
Ha valóban érzékeny, nem publikus tartalmat szeretnél védeni, ahhoz jelszavas védelem vagy más technikai megoldás szükséges – a robots.txt erre nem alkalmas.
Egy másik gyakori félreértés, hogy a robots.txt-ben letiltott oldal biztosan nem jelenik meg a Google-ben. A valóságban egy letiltott oldalra mutató külső linkek miatt a Google néha mégis megjelenítheti az oldal URL-jét a találatok között, akár leírás nélkül is – csak nem térképezi fel a tartalmát. A teljes eltüntetéshez más eszközök szükségesek.
Egy szemléltető helyzet
Egy őstermelő weboldalán egy fejlesztési munka során véletlenül bekerült egy sor a robots.txt fájlba, amely az egész weboldal feltérképezését letiltotta – nem csak egy aloldalt, hanem mindent. Néhány hét után feltűnt, hogy az oldal egyre kevesebb helyen jelenik meg a keresésben.
Az üzemeltető megvizsgálta a robots.txt fájlt, megtalálta és eltávolította a hibás sort, majd jelezte a változást a Google Search Console-ban. Ez egy tipikus, tanulságos eset arra, hogy egyetlen apró technikai hiba is széles körű hatással lehet – éppen ezért érdemes időnként rápillantani erre a fájlra, különösen nagyobb fejlesztések után.
Gyakori tévhitek
"A robots.txt megvéd egy oldalt attól, hogy bárki lássa." Ez tévhit – a robots.txt csak a keresőrobotoknak szóló kérés, nem technikai védelem. Érzékeny tartalomhoz jelszavas védelem kell.
"Ha letiltok valamit a robots.txt-ben, az garantáltan eltűnik a Google-ből." Nem feltétlenül – külső linkek miatt az URL akkor is megjelenhet, csak a tartalma nem lesz feltérképezve.
"A robots.txt és a sitemap ugyanazt csinálja." A kettő ellentétes irányban dolgozik: a robots.txt azt mondja meg, hova ne menjenek a robotok, a sitemap pedig azt, hova érdemes menniük.
Milyen hibák fordulhatnak elő a robots.txt-vel?
Mielőtt rátérnénk, mire figyelj, érdemes ismerni a leggyakoribb hibatípusokat:
- véletlenül az egész oldal letiltása – ez a legsúlyosabb hiba, jellemzően fejlesztés közben történik, és ha elfelejtik visszaállítani, komoly láthatósági problémát okozhat
- fontos oldalak véletlen letiltása – például egy szolgáltatásoldal vagy landing oldal kerül tévedésből a tiltólistára
- elavult vagy felesleges szabályok – régi, már nem releváns tiltások, amelyek zavart okozhatnak
- hiányzó vagy hibás sitemap-hivatkozás – ha a robots.txt-ben megadott sitemap-elérési út elavult vagy hibás
- túl bonyolult, nehezen átlátható szabályrendszer – minél bonyolultabb a fájl, annál könnyebb benne hibázni
Mire érdemes először odafigyelned?
- Nézd meg, mi van jelenleg beírva. Írd be a weboldalad címéhez: /robots.txt.
- Ellenőrizd fejlesztés vagy nagyobb átalakítás után. Ilyenkor a legnagyobb a kockázata annak, hogy véletlenül bekerül egy túl szigorú tiltás.
- Kérdezd meg az üzemeltetődet, mikor nézték át utoljára. Ha ez évek óta nem történt meg, érdemes egy gyors ellenőrzést kérni.
- Ne kezeld biztonsági eszközként. Ha valóban érzékeny tartalmat szeretnél védeni, jelszavas védelemről vagy más megoldásról érdemes egyeztetni.
- Ellenőrizd, hivatkozik-e a sitemapodra. Ez apró, de hasznos összekötő elem a két fájl között.
Próbáld ki most! Nyisd meg a böngésződet, írd be a weboldalad címét, majd a végére illeszd be: /robots.txt. Ha egy rövid szöveges listát látsz "Disallow" vagy "Allow" sorokkal, ez az. Ha az egész oldalra vonatkozó tiltást látsz (egy magányos "Disallow: /" sort), érdemes azonnal jelezni annak, aki az oldaladat kezeli.
Ellenőrzőlista
- ☐ Megnéztem, mi szerepel jelenleg a weboldalam robots.txt fájljában
- ☐ Tudom, mikor ellenőrizték utoljára
- ☐ Megbizonyosodtam róla, hogy nincs benne teljes oldalletiltás
- ☐ Ellenőriztem, hivatkozik-e a sitemapomra
- ☐ Emlékeztetőt állítottam be, hogy nagyobb fejlesztés után újra ránézzek
DigitálisTerv tipp
A robots.txt önmagában nem növeli az AI-alapú keresők általi láthatóságodat, de egy rosszul beállított, túl szigorú fájl akár teljesen el is zárhatja a tartalmaidat a feltérképezés elől – ez pedig minden további láthatóságot, beleértve az AI-rendszerek számára való felfedezhetőséget is, ellehetetlenít. A cél tehát nem az, hogy a robots.txt "dolgozzon" a láthatóságodért, hanem hogy ne álljon annak útjába.
Összefoglalás
A robots.txt egy egyszerű szövegfájl, amely megmondja a keresőrobotoknak, mely részeit térképezzék fel a weboldaladnak, és melyeket hagyják figyelmen kívül. Nem biztonsági eszköz, és nem garantálja, hogy egy letiltott oldal biztosan eltűnik a keresésből – de ha rosszul van beállítva, komoly és nehezen észrevehető láthatósági problémát okozhat. Neked nem kell szerkesztened ezt a fájlt, de érdemes tudni, hogy létezik, és időnként rákérdezni, hogy helyes-e.
Következő lépés
A technikai SEO-alapokat a következő cikkekben folytatjuk: megnézzük többek között, hogyan ellenőrizheted az indexelést, mit jelent a strukturált adat, és hogyan tudod ellenőrizni, hogy a Google valóban látja-e az oldaladat. → Mi az a sitemap?