A keresőoptimalizálásban kiemelten fontos az indexelés kézben tartása. Ezt a célt szolgálják a meta robots címkék és az X-robots tag-ok.
A weboldalunk egészének megítélése mindig az összes indexelt tartalom alapján történik, ezért is fontos az indexelés kézben tartása, és a gyenge minőségű aloldalak noindexre helyezése.
Ebből az útmutatóból megtanulhatod, hogyan használd a meta robots és X-robots címkéket, hogy szabályozni tudd weboldalat indexálását. Megtanulhatod azt is, hogyan kerüld el a leggyakoribb hibákat és hogyan tegyél szert SEO előnyre.
Mi az a meta robots címke?
A meta robots, vagy egyszerűen csak robots címke, nem más mint egy HTML kódrészlet, ami a weboldal <head></head> részében van elhelyezve.
Feladata, hogy szabályozza, hogy a keresőmotorok robotjai hogyan térképezhetik és indexelhetik az adott URL-t.
Konkrétan így néz ki a forráskódban a meta robots kód:
Hirdetés
<meta name="robots" content="noindex" />
Ezek a címkék mindig URL szintűek, azaz aloldal szinten szabályozzák a keresőrobotok viselkedését.
Mire használjuk a meta robots címkét?
A robots meta címkék feladata, hogy szabályozzák a Google (vagy más keresőrobotok) viselkedését az oldaladon. Leggyakrabban az alábbi szabályozásokra használjuk:
- engedik, vagy tiltják, hogy az adott oldal megjelenjen a találati listán
- engedik, vagy tiltják, hogy az oldalon lévő linkeket kövessék a keresőrobotok
- az oldalon lévő képek indexelésének tiltása
- az oldalon lévő meta leírás megjelenítésének tiltása
- videók megjelenítésének tiltása a találati listán
És ezek csak a legfontosabbak, a későbbiekben az összes szabályozást végigvesszük.
Ahhoz, hogy megérts a robots meta címkék működését, meg kell ismerkedned, ennek tulajdonságaival, és az általános irányelvekkel.
Rengeteg kód példát is hozok majd, hogy könnyebb legyen megérteni és alkalmazni a leírtakat. És persze ezeket saját oldalad feltérképezésének és indexelésének beállítására is használhatod.
Meta robots tulajdonságok és direktívák
A meta robots címke felépítése
Először nézzük meg, hogyan épül fel egy meta robots címke!
Először jön egy kacsacsőr jel: <
utána jön a „meta” szócska,
majd két kötelező tulajdonság:
- name=””
- content=””
végül a záró kacsacsőr jel, fordított irányban: >
Egyben így néz ki:
<meta name="robots" content="noindex, follow">Amint láthatod a content részen belül a különböző szabályozásokat vessző választja el.
Ennek a cikknek a forráskódjában mindez így néz ki:
A két kötelező meta robots tulajdonság
A name tulajdonság
A name tulajdonság feladata, hogy nevesítse azokat a robotokat, amelyeknek a meta robots-ban leírt tulajdonságokat követnie kell.
Leggyakrabban ez így néz ki:
name=”robots”
és általában ezt is használjuk, ugyanakkor ha szeretnéd lehetőség van több meta robots cmíke megadására, ahol más-más robotokat szabályozhatsz.
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">Ennél a példánál két meta robots címke van, az első a googlebot-ra vonatkozóan ad meg szabályokat, míg a másik a googlebot-news-ra.
Több száz különböző robot van, például külön robotjai vannak az egyes keresőmotoroknak, de sok SEO eszköznek is.
A legfontosabb keresőmotorokat itt találod:
Google: Googlebot ( az összes Google keresőrobotot itt nézheted meg)
Bing: Bingbot (a többi Bing robot itt található)
DuckDuckGo: DuckDuckBot
Baidu: Baiduspider
Yandex: YandexBot
A content tulajdonság
A name részben azt adtuk meg milyen robotra vonatkozik az instrukció, a content részben pedig megadhatjuk, hogy milyen szabályozás vonatkozik az adott robotra.
Érdemes tudni, hogy ha nem adsz meg semmilyen szabályozást, akkor az alapértelmezett eset az, hogy a robotok indexelhetik a tartalmadat és követhetik a linkeket (follow). Ugyanakkor az egyes konkrét linkeknél ez átállítható nofollow-ra.
A content tulajdonságnál az alábbi direktívákat használhatod:
- index: indexelheti a tartalmadat a keresőrobot (megjegyzés: ez az alapértelmezett beállítás, így nem muszáj használni)
- noindex: a keresőrobot nem indexelheti a tartalmat, így az nem jelenhet meg a találati listán sem.
- follow: követheti az oldalon lévő linkeket, így újabb oldalakat fedezhet fel a keresőrobot
- nofollow: nem követheti a linkeket
- none: a noindex, nofollow rövidített változata
- all: az index, follow összevont változata
- noimageindex: nem indexelheti a képeket az oldalról
- noarchive: a weboldal tárolt változata nem jelenhet meg a találati listán
- nocache: ugyan az, mint a noarchive, de ez a Microsoft robotjainak szól
- nositelinkssearchbox: nem jelenhet meg egy beágyazott keresőmező a weboldalara vonatkozóan a találati listán
- nopagereadloud: a képernyőolvasóknak nem engedélyezed a tartalom felolvasását
- notranslate: nem jelenhet meg a találati listán az oldal fordítása
- unavaible_after: a megadott időpont után noindexre kerül az oldal
A Google teljes útmutatóját erre vonatkozóan itt találod.
A meta a robots a találati listán való megjelenés szabályozására
Bár a meta robots alapvetően az indexelés és feltérképezés szabályozására szolgál, azonban azt is irányíthatjuk vele, hogy hogyan jelenjen meg oldalunk a találati listán.
A Google 2019 szeptemberében bejelentette, hogy több új lehetőséget vezet be, amellyel a weboldaltulajdonosok szabályozhatják oldaluk megjelenését a találati listán. Ezeket a szabályozásokat szintén a meta robots beállításokkal tehetjük meg.
Az alábbi beállításokat a content részben kell szintén megadni:
- nosnippet: ne jelenjen meg kivonat / meta leírás az oldalról a találati listán
- max-snippet [number]: a kivonat maximális hossza karakterben
- max-video-preview [number]: másodpercben megadva a videó-előnézet maximális hossza
- max-image-preview [setting]: a képe előnézet konkrét mérete, ha az nem „none”, „large”, vagy „standard”
És akkor most nézzünk konkrét példákat a meta robots beállításokra, amit akár a saját weboldaladon is alkalmazhatsz.
Meta Robots kód példák
Ne indexelje a tartalmat, de kövesse az oldalon lévő más weblapokra mutató linkeket:
<meta name="robots" content="noindex, follow" />Ne indexelje és ne kövesse az oldalon lévő linkeket:
<meta name="robots" content="none" />Ne legyen gyorsítótárazott verzió a találati listán:
<meta name="robots" content="noarchive" />Ne legyen kép a találati listán (mobil találati listán elsősorban):
<meta name=”robots” content=”noimageindex” />
És akkor néhány beállítás, ami a találati listán való megjelenést szabályozza.
A videó-előnézet hossza maximum 10 másodperc lehet:
<meta name="robots" content="max-video-preview:30" />Videó nem jelenhet meg, de kép igen, a találati listán:
<meta name="robots" content="max-image-preview:large, max-video-preview:0" />Mindent megengedünk a keresőrobotoknak (kép, videó, szöveges):
<meta name="robots" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1" />Mi az az X-Robots címke?
A keresőrobotokat nem csak a HTML forráskódunk <head> részében tudjuk szabályozni, hanem az X-robots címkével is. De mi ez pontosan?
A X-Robots címke nem egy HTML elem, hanem egy HTTP-fejléc válasz, ahol ugyan azokat a beállításokat tudjuk használni, amit a meta robots esetén. Íme egy minta beállítás:
x-robots-tag: noindex, nofollowFontos tudni, hogy az X-Robots nem látszik a forráskódban, ahhoz, hogy alkalmazni tudjuk, hozzá kell férnünk a weboldalunk header.php, vagy .htaccess, esetleg a szerver konfigurációs fájljaihoz.
Mikor használjuk az X-Robots címkét?
Az X-Robots alkalmazásának van egy keresőoptimalizálási kockázata is.
Mivel a forráskódban nem látható, előfordulhat, hogy a meta robots beállításban indexelhetővé tesszük a tartalmat, de az X-robots címkében noindexre. Ez esetben az oldal nem kerül indexelésre, és a hiba forrását nehezebb megtalálni.
Miért alkalmazzuk akkor mégis, és pontosan hol?
- akkor, ha nem HTML-típusú fájlok indexelését akarjuk szabályozni (pl. .pdf fileok)
- akkor, ha nem oldalszinten, hanem a weboldal egészére vonatkozóan akarunk direktívákat beállítani
Hogyan állítsd be a meta címkéidet?
Általában a meta robots címkék beállítása egyszerűbb, mint az X-tobots címkéké, de ez utóbbi sem túl bonyolult feladat.
Az alábbiakban megmutatom konkrétan hogyan kell ezeket a beállításokat megoldani, különböző CMS és szerverek esetén.
Meta Robots beállítása HTML fájlok esetén
Ha hozzáférsz a HTML fájlokhoz, akkor egyszerű dolgod van. A HTML dokumentum <head> részébe kell a meta robots címkét beillesztened.
Például ha azt akarod, hogy az oldal ne indexelje, de alinkeket kövesse a keresőrobot, akkor az alábbi kódot kell használni:
<meta name="robots" content="noindex, follow" />
Meta robots beállítása WordPress alatt
Ha WordPresst használsz, akkor a különböző SEO Pluginok alkalmazásával tudod legkönnyebben szabályozni az indexelést.
Ha Yoast SEO Plugin használsz, akkor az Advanced fül alatt találod a beállításokat.
Az „ Megengedjük a kereső motoroknak, hogy mutassák a(z) Bejegyzés a keresési eredményekben?” kérdésre ha no válaszolsz, akkor noindexre állítod az oldalt.
A „Ha a keresőmotorok követni akarják a(z) Bejegyzés hivatkozásokat” kérdésre adott no, pedig a nofollow beállítást jelenti.
Az általam is használt RankMath esetében az Advanced fül alatt egyértelműbb a szabályozás, ugyanis itt a fent már megismert noindex, nofollow, stb beállításokat találod, valamit a találati listán való megjelenést is szabályozhatod.
Az X-robots szabályozása Apache szerveren
Végül a X-robots címkét Apache webszerveren a .htaccess fájlban tudod szabályozni, amit a főkönyvtárban találsz meg.
Az alábbi beállítás a pdf fileok indexelését akadályozza meg:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</Files>Ezek a beállítások már kicsit bonyolultabbak, érdemes egy programozó segítségét kikérni.
Gyakori hibák a meta robots beállításakor
Az alábbiakban az elmúlt 10 évem tapasztalatai alapján a legtipikusabb meta-robots hibákat mutatom be röviden.
Az oldal indexelésének teljes blokkolása
Igen gyakori, hogy amikor egy új weboldal kerül kialakításra, vagy éppen design csere történik a fejlesztő benne hagyja az éles oldalon is a noindex, nofollow címkét az oldal forráskódjában.
Ez természetes fejlesztés során, de ha az éles oldalon is bent marad, akkor a Google törli az adatbázisából a teljes oldalt. Ez néhány hétig nem probléma, de ha hetekig fennáll, az már keresőoptimalizálási szempontból is hátrányos, mert bizonyos szignálok elvesztését eredményezheti.
Új oldal élesítésekor mindig ellenőrizd a meta robots beállításokat!
X-robots noindex, meta robots index
Szintén előfordul, hogy a meta-robtos beállítás index-re van állítva, így látszólag az oldal indexelhető, de a forráskódban nem látható X-robots címe noindexen marad. ebben az esetben a keresőrobotok nem fogják feltérképezni az oldalt, az oldaltulajdonos viszont a forráskód alapján nem fogja megtalálni a hibát.
Ellenőrizd az X-Robots beállításokat is!
Meta Robots beállítások a robots.txt-ben blokkolt oldalakon
Ha bizonyos fájlok elérését blokkolod a robots.txt fájlodban, akkor ezeket az oldalakat a Google keresőrobotja nem éri el. Így hiába változtatsz a meta robots beállításokon, ha azokat nem tudja megnézni a Googlebot.
Ha valamit változtatsz ezeken a beállításokon ügyelj rá, hogy a robots.txt ne blokkolj ezek elérését.
Töltsd le a Google 100 keresőoptimalizálási tanácsát
...és értesülj a legfontosabb SEO hírekről. 100% SEO, zéró spam.