Vissza a Tudásbázisba
SEO

Mi az a robots.txt, és mire szolgál a weboldaladon?

Képzeld el, hogy a boltod bejáratára kiírsz egy táblát: "A raktárba ne gyertek be, az irodába se, de a bemutatóterembe szívesen látunk mindenkit." A legtöbb vásárló el sem olvassa ezt a táblát – egyszerűen bemegy a bemutatóterembe, mert oda akar menni. De egy fegyelmezett, szabálykövető futár vagy ellenőr pontosan ez alapján tájékozódik: hova mehet be, és hova nem.

📖 Becsült olvasási idő: 7 perc

👉 Ebből a cikkből megtudod:

  • mi az a robots.txt, és miben különbözik a sitemaptól
  • mire használható valójában ez a kis fájl
  • milyen hibák fordulhatnak elő, ha rosszul van beállítva
  • honnan tudod meg két perc alatt, mi van beállítva a saját oldaladon
  • mire figyelj, ha bővül vagy átalakul a weboldalad

Képzeld el, hogy a boltod bejáratára kiírsz egy táblát: "A raktárba ne gyertek be, az irodába se, de a bemutatóterembe szívesen látunk mindenkit." A legtöbb vásárló el sem olvassa ezt a táblát – egyszerűen bemegy a bemutatóterembe, mert oda akar menni. De egy fegyelmezett, szabálykövető futár vagy ellenőr pontosan ez alapján tájékozódik: hova mehet be, és hova nem.

A robots.txt pontosan egy ilyen tábla – csak nem a bolt bejáratán, hanem a weboldaladon, és nem embereknek, hanem a keresőmotorok robotjainak szól.

Mi az a robots.txt? A robots.txt egy egyszerű szövegfájl a weboldaladon, amely útmutatást ad a keresőmotorok robotjainak arról, mely részeit térképezhetik fel a weboldalnak, és melyeket ne.

A robots.txt tehát egy kérés, nem egy zár – erről bővebben is szó lesz lejjebb.

A robots.txt röviden:

  • egy egyszerű, olvasható szövegfájl, nem grafikus beállítás
  • elsősorban azt jelzi a keresőrobotoknak, mely részek feltérképezését nem kérjük
  • nem ugyanaz, mint a sitemap, sőt, gyakran együtt dolgoznak
  • rosszul beállítva akár az egész oldal láthatóságát is veszélyeztetheti
  • a legtöbb modern weboldal-rendszer automatikusan generálja, alapbeállítással

Ha csak egy dolgot csinálsz meg ebből a cikkből: írd be a böngésződbe a saját weboldalad címét úgy, hogy a végére odaírod: /robots.txt, és nézd meg, mi jelenik meg. Két perc, és már sokat elárul arról, mit "mondasz" jelenleg a keresőmotoroknak.

Miért nem csak technikai kérdés ez neked, mint vállalkozásnak

A robots.txt azok közé a fájlok közé tartozik, amelyekről a legtöbb vállalkozó soha nem hall – egészen addig, amíg valami el nem romlik miatta. Ha ez a fájl rosszul van beállítva, akár azt is előírhatja a keresőmotoroknak, hogy ne térképezzék fel a teljes weboldaladat. Ez ritkán fordul elő, de amikor mégis, komoly és nehezen észrevehető problémát okozhat.

Neked nem kell tudnod szerkeszteni ezt a fájlt. Azt viszont érdemes tudnod, hogy létezik, mire szolgál, és hogy időről időre érdemes megkérdezni azt, aki az oldaladat kezeli: "Rendben van a robots.txt fájlunk, nem tiltunk le véletlenül semmi fontosat?"

Mire használható valójában a robots.txt

A robots.txt legfontosabb szerepe az, hogy útmutatást adjon a keresőrobotoknak arról, mely részek feltérképezését kérjük, és melyeket nem.

Nem publikus részek elrejtése a feltérképezés elől

Sok weboldalon vannak olyan technikai részek – például egy admin felület vagy egy belső keresési eredményoldal –, amelyeknek semmi értelme nincs a keresőmotorok szemszögéből. A robots.txt jelezheti, hogy ezekkel ne is foglalkozzanak.

A feltérképezési kapacitás ésszerű felhasználása

Nagyobb weboldalaknál a keresőrobotok korlátozott "figyelmét" érdemes a valóban fontos tartalmakra irányítani, nem apró, technikai jellegű oldalakra. A robots.txt segíthet ebben az irányításban.

Együttműködés a sitemappal

A robots.txt fájlban gyakran meg szokták adni, hol található a sitemap. Így a kettő nem versenytárs, hanem egymást kiegészítő eszköz: az egyik megmondja, hova ne menjenek a robotok, a másik pedig megkönnyíti, hogy megtalálják, amit igen.

FájlFő szerepeMit NEM garantál
robots.txtJelzi, mely részeket ne térképezzék fel a keresőrobotokNem tiltja meg biztosan a megjelenést a Google-ben
sitemap.xmlFelsorolja a fontos oldalakat a felfedezés megkönnyítéséreNem garantálja az indexelést vagy a rangsorolást

Amit fontos tudni: a robots.txt nem biztonsági eszköz

Ez az egyik legfontosabb és leggyakrabban félreértett pont: a robots.txt egy kérés a keresőmotorok felé, nem egy technikai zár. A nagy keresőmotorok, például a Google, általában figyelembe veszik ezeket a kéréseket, de a fájl önmagában nem akadályozza meg, hogy valaki emberként megnyissa a letiltott oldalt, ha ismeri a pontos címét.

Ha valóban érzékeny, nem publikus tartalmat szeretnél védeni, ahhoz jelszavas védelem vagy más technikai megoldás szükséges – a robots.txt erre nem alkalmas.

Egy másik gyakori félreértés, hogy a robots.txt-ben letiltott oldal biztosan nem jelenik meg a Google-ben. A valóságban egy letiltott oldalra mutató külső linkek miatt a Google néha mégis megjelenítheti az oldal URL-jét a találatok között, akár leírás nélkül is – csak nem térképezi fel a tartalmát. A teljes eltüntetéshez más eszközök szükségesek.

Egy szemléltető helyzet

Egy őstermelő weboldalán egy fejlesztési munka során véletlenül bekerült egy sor a robots.txt fájlba, amely az egész weboldal feltérképezését letiltotta – nem csak egy aloldalt, hanem mindent. Néhány hét után feltűnt, hogy az oldal egyre kevesebb helyen jelenik meg a keresésben.

Az üzemeltető megvizsgálta a robots.txt fájlt, megtalálta és eltávolította a hibás sort, majd jelezte a változást a Google Search Console-ban. Ez egy tipikus, tanulságos eset arra, hogy egyetlen apró technikai hiba is széles körű hatással lehet – éppen ezért érdemes időnként rápillantani erre a fájlra, különösen nagyobb fejlesztések után.

Gyakori tévhitek

"A robots.txt megvéd egy oldalt attól, hogy bárki lássa." Ez tévhit – a robots.txt csak a keresőrobotoknak szóló kérés, nem technikai védelem. Érzékeny tartalomhoz jelszavas védelem kell.

"Ha letiltok valamit a robots.txt-ben, az garantáltan eltűnik a Google-ből." Nem feltétlenül – külső linkek miatt az URL akkor is megjelenhet, csak a tartalma nem lesz feltérképezve.

"A robots.txt és a sitemap ugyanazt csinálja." A kettő ellentétes irányban dolgozik: a robots.txt azt mondja meg, hova ne menjenek a robotok, a sitemap pedig azt, hova érdemes menniük.

Milyen hibák fordulhatnak elő a robots.txt-vel?

Mielőtt rátérnénk, mire figyelj, érdemes ismerni a leggyakoribb hibatípusokat:

  • véletlenül az egész oldal letiltása – ez a legsúlyosabb hiba, jellemzően fejlesztés közben történik, és ha elfelejtik visszaállítani, komoly láthatósági problémát okozhat
  • fontos oldalak véletlen letiltása – például egy szolgáltatásoldal vagy landing oldal kerül tévedésből a tiltólistára
  • elavult vagy felesleges szabályok – régi, már nem releváns tiltások, amelyek zavart okozhatnak
  • hiányzó vagy hibás sitemap-hivatkozás – ha a robots.txt-ben megadott sitemap-elérési út elavult vagy hibás
  • túl bonyolult, nehezen átlátható szabályrendszer – minél bonyolultabb a fájl, annál könnyebb benne hibázni

Mire érdemes először odafigyelned?

  • Nézd meg, mi van jelenleg beírva. Írd be a weboldalad címéhez: /robots.txt.
  • Ellenőrizd fejlesztés vagy nagyobb átalakítás után. Ilyenkor a legnagyobb a kockázata annak, hogy véletlenül bekerül egy túl szigorú tiltás.
  • Kérdezd meg az üzemeltetődet, mikor nézték át utoljára. Ha ez évek óta nem történt meg, érdemes egy gyors ellenőrzést kérni.
  • Ne kezeld biztonsági eszközként. Ha valóban érzékeny tartalmat szeretnél védeni, jelszavas védelemről vagy más megoldásról érdemes egyeztetni.
  • Ellenőrizd, hivatkozik-e a sitemapodra. Ez apró, de hasznos összekötő elem a két fájl között.

Próbáld ki most! Nyisd meg a böngésződet, írd be a weboldalad címét, majd a végére illeszd be: /robots.txt. Ha egy rövid szöveges listát látsz "Disallow" vagy "Allow" sorokkal, ez az. Ha az egész oldalra vonatkozó tiltást látsz (egy magányos "Disallow: /" sort), érdemes azonnal jelezni annak, aki az oldaladat kezeli.

Ellenőrzőlista

  • ☐ Megnéztem, mi szerepel jelenleg a weboldalam robots.txt fájljában
  • ☐ Tudom, mikor ellenőrizték utoljára
  • ☐ Megbizonyosodtam róla, hogy nincs benne teljes oldalletiltás
  • ☐ Ellenőriztem, hivatkozik-e a sitemapomra
  • ☐ Emlékeztetőt állítottam be, hogy nagyobb fejlesztés után újra ránézzek

DigitálisTerv tipp

A robots.txt önmagában nem növeli az AI-alapú keresők általi láthatóságodat, de egy rosszul beállított, túl szigorú fájl akár teljesen el is zárhatja a tartalmaidat a feltérképezés elől – ez pedig minden további láthatóságot, beleértve az AI-rendszerek számára való felfedezhetőséget is, ellehetetlenít. A cél tehát nem az, hogy a robots.txt "dolgozzon" a láthatóságodért, hanem hogy ne álljon annak útjába.

Összefoglalás

A robots.txt egy egyszerű szövegfájl, amely megmondja a keresőrobotoknak, mely részeit térképezzék fel a weboldaladnak, és melyeket hagyják figyelmen kívül. Nem biztonsági eszköz, és nem garantálja, hogy egy letiltott oldal biztosan eltűnik a keresésből – de ha rosszul van beállítva, komoly és nehezen észrevehető láthatósági problémát okozhat. Neked nem kell szerkesztened ezt a fájlt, de érdemes tudni, hogy létezik, és időnként rákérdezni, hogy helyes-e.

Következő lépés

A technikai SEO-alapokat a következő cikkekben folytatjuk: megnézzük többek között, hogyan ellenőrizheted az indexelést, mit jelent a strukturált adat, és hogyan tudod ellenőrizni, hogy a Google valóban látja-e az oldaladat. → Mi az a sitemap?

Ha nem vagy biztos benne, mit tartalmaz a robots.txt fájlod, és szeretnéd, hogy szakmai szem is átnézze, a kiegészítő szolgáltatások keretében ezt megoldjuk.

Kiegészítő szolgáltatások →

AI-szemmel · interaktív bemutató

Nézd meg, mit lát az AI egy weboldalból!

Ugyanaz a weboldal, két nézőpontból: a látvány, és az, ami egyértelműen le van írva. Húzd el a csúszkát, és figyeld meg a különbséget.

Kipróbálom

Kezdjük el együtt

Nem kell mindenhez értened — kezdjük el együtt.

Az ingyenes online konzultáción közösen átgondoljuk a helyzetedet, és személyre szabott javaslattal érkezünk. Nincs kötelezettség.

Ez a weboldal sütiket használ.

A weboldal sütiket használ a megfelelő működéshez, a látogatottság elemzéséhez és – hozzájárulásod esetén – marketing célokra. A sütik beállításait bármikor módosíthatod.