Google indexelés és feltérképezés problémák megoldásai

Az elmúlt időszakban egye nagyobb probléma lett, hogy a Google lassan indexeli a weboldalakat. Ebben a cikkben leírom az okokat, és a lehetséges megoldásokat.

Mi az a Google indexelés?

A Google az internetet feltérképezi, az így talált tartalmakat indexeli, majd a felhasználókat ezen indexelt tartalom alapján állítja össze. Lássuk mi mit jelent!

• feltérképezés: ez az a folyamat, amikor a google a linkeken, vagy webhelytérképeken keresztül új tartalmakat fedez fel az interneten
• indexelés: ezeket az új tartalmakat a Google hatalmas adatbázisaiban tárolja el, ez az indexelés (a felhasználók kereséseit innen szolgálja majd ki a találati listával)
• googlebot: a Google keresőrobotja (speciális programja), amely a feltérképezést folyamatokat elvégzi.

Erről a Google készített egy magyar nyelvű szöveggel ellátott videót, ahol ezt a folyamatot jól bemutatja:

Amikor a felhasználók keresnek valamit a keresőben a Google nem az élő internetről szolgálja ki őket, hanem az indexelt tartalom alapján a felhasználó kereséséhez illeszkedően állít össze egy rangsort a találati listáján.

Fontos megérteni, hogy az indexelés a lehetőségét teremti meg annak, hogy a weboldal megjelenjen a felhasználó keresésére. Ez a keresőoptimalizálás első lépése. A rangsorolás ettől különálló dolog.

Google indexelés ellenőrzése egyszerűen

Menj a Google keresőjébe és írd be az alábbi parancsot: site:ite.hu

Hirdetés

Értelemszerűen az ite.hu helyett a saját domainnevedet írd be. A Google megmutatja, hogy durván hány URL-t indexel az oldaladból.

Ha egy konkrét URL indexelését akarod ellenőrizni, akkor a domainnév helyett a konkrét URL-t írd be. (A site: parancs egyik a Google un. operátorainak)

Ha az URL megjelenik, akkor indexelve van, ha nem akkor nincs indexelve.

A másik módszer a Google indexelés ellenőrzésére a Search Console. Ha weboldalunkat regisztráljuk, akkor a Search Console „Oldalak” (korábban Lefedettség) menüpontjában láthatjuk, hogy oldalunk URL-jeiből mennyit indexel a Google és mennyit nem:

Erről a jelentésről és értelmezéséről később írok részletesen. De még ez előtt egy dolgog, amit feltétlenül ismerned kell, ez pedig az URL-ellenőrzés gomb:

Itt tudod ellenőrizni, hogy egy konkrét URL indexelve van-e vagy sem (és kérheted az indexelést is).

Miért lassult be a Google indexelése?

Gyorsan essünk túl az okokon, aztán jöjjenek a megoldások. Tehát miért lassult be a Google indexelése?

Az biztos, hogy nem szubjektív tapasztalatról van szó. Idehaza rengeteg oldaltulajdonos és SEO szakember tapasztalja. Tehát nem egyéni probléma.

Sok feltételezés kering a gyenge indexelésről, én ezeket emelném ki:

• Ellátási és chiphiány: ezt nem kell túlragozni. A chiphiány nem csak a nagy autógyárakat, de a keresőóriásokat is sújtja. Persze bővül a szerverpark, de nem elég dinamikusan
• Az internet mérete exponenciálisan nő: Az elmúlt öt évben minden egyes nap 640 ezer olyan ember csatlakozik a világhálóhoz, aki azt előtte sohasem használta. Ráadásul a koronavírus járvány miatt még nagyobb ütemben váltott a világ digitálisra.
• A Google nem akar mindent indexelni. A Google szerint:

„Senki sem engedheti meg magának, hogy végtelen számú URL-t indexeljen és tartson az adatbázisában. Mindenki feltételezésekkel él, hogy mit érdemes valójában feltérképezni”

„Egyre több és több weboldal technikailag rendben van, de egyszerűen nem éri el azt a szintet minőségi szempontból, hogy érdemes legyen feltérképezni.”

Eljutottunk tehát oda, hogy a Google kimondja, hogy nem célja mindent feltérképezni és indexelni, csak, amit reálisan megéri és ami kellően jó minőségű.

Ezt tehát a kiindulópont, és ezzel kell szembesülni a weboldalaknak, különösen az újonnan induló webhelyeknek. Érdemes feltérképezni az én oldalamat? Kellően jó minőségű?

Megoldások a Google indexelési problémára

Legyenek rendben a technikai SEO beállítások

Ha valami technikai akadálya van az indexelésnek, akkor olyan, mintha olyan versenyen akarnál nyerni, amin el sem indulsz. Tehát első körben ezeket kell ellenőrizni. Nézzük, mik az indexelhetőség alapkövetelményei!

Robots.txt

A Robots.txt-vel gátolhatod, az oldal feltérképezhetőségét a keresőrobotok számára. Tehát ellenőrizd, hogy a robots.txt nem gátolja-e az URL elérhetőségét.

A Search Console Robots.txt tesztelő eszközével manuálisan ellenőrizheted, hogy az adott URL feltérképezhetőségét nem-e gátolja a robots.txt

Természetesen erre más eszköz is alkalmas, például a Search Console URL-ellenőrzője.

Robots meta címkék

A forráskódban szabályozható, hogy egy oldalt a keresőrobotok indexelhetnek-e vagy sem.

Alapértelmezésben (ha nincs kitöltve) akkor az URL indexelhető. Ha nem akkor noindex címkének kell szerepelnie, ezzel meggátolható az URL indexelhetősége.

Ez így néz ki a forráskódban:

<meta name="robots" content="noindex" />

Ezt manuálisan is tudod ellenőrizni. Lekéred az oldal forráskódját a böngészőben (Control + F5) és rákeresek a noindex szóra (Control+F).

Vigyázz, mert néha programozási hiba miatt előfordul, hogy a forráskódban két robots meta címke is található!

Ezt is ellenőrizheted a Google Search Consoleban is, ahol egyébként a technikai hibák döntő része egyszerre ellenőrizhető.

X-Robots meta címke

Ez már egy trükkösebb dolog, ugyanis ez a webes dokumentumod fejlécében (header) szabályozza az indexelhetőséget, és mint olyan, nem látható vizuálisan a forráskódban.

Én ennek ellenőrzésére egy kis Chrome bővítményt ajánlok, ami a fenti többi technikai problémát is ellenőrzi egyben. A Robots Exclusion Checker ellenőri az X-Robots, a noindex, a robots.txt és a Canonical beállításokat is egyszerre.

Canonical beállítások

A Canonical beállításokkal adhatjuk meg, hogy egy tartalomnak hol található az eredeti verziója. Ha például webáruházunkban ugyan az a termék több színkombinációban is elérhető, akkor ilyen esetben gyakran alkalmazunk canonical beállítást, ahol az egyik színverzió eredetinek nevezzük és a többi színvariáció erre az egyre hivatkozik eredeti, azaz canonical verzióként

Ez hasznos, mert nem generálnak a kombinációk duplikációkat és egy URL kapja meg az összes rangsorolási szignált.

Ugyanakkor az az URL, amely egy másik URL-t nevez meg canonicalnak jó eséllyel nem fog indexelésre kerülni (így a Search Console lefedettségi jelentésében a Kizárva fül alatt találjuk majd).

A Search Console URL ellenőrzés menüpontja vizsgálja a Canonical beállításokat is:

Két típust különböztet meg:

• A felhasználó által deklarált gyűjtő URL
• A Google által kiválasztott gyűjtő-URL

Az első azt jelenti, hogy mi az az URL amit mi megadtunk a canonical beállításban a forráskódban, ez a felhasználó által deklarált gyűjtő-URL

A canonical azonban nem kötelező érvényű a Google keresőrobotjai számára, így ha úgy látja, hogy hibásan adtuk meg a forráskódban a canonical címkét, akkor saját belátása szerint a feltérképezés során ezt felülírhatja.

Ilyen esetben a Google által kiválasztott gyűjtő-URL különbözni fog az általunk megadottól.

Átirányítások

Akadályozhatja a feltérképezést és indexelést, ha átirányítási lánc alakul ki. A Google egy feltérképezés során általában 5 átirányítási láncot követ. Ez különösen új oldalaknál jelenthet problémát, ezért a HTTP->HTTPS www->non www átirányításokat is célszerű összevonni.

Ha az átirányítás hibásan van megadva, és a láncból hurok lesz, tehát önmagára mutat vissza, akkor azon URL feltérképezésés a Google nem tudja elvégezni.

Ezek ellenőrzésére én a Redirect-checker.org oldalt szoktam használni.

Href lang

Viszonylag kevés oldalnál jelent problémát, de a ha több nyelvű a weboldal, akkor a nyelvi változatok megadására szolgáló href lang attributum hibái is okozhatnak feltérképezési és indexelési problémát.

További technikai problémák

Van még néhány apró hiba, ami gátolhatja az indexelhetőséget. Ezek kiszűrésében segíthetnek a különböző SEO eszközök is. Kis weboldal esetén a Screaming Frog ajánlott, 500 URL-ig ingyenes. Nagy oldalak esetén a SeoPowerSuite-ot vagy a Semrush-t ajánlanám.

Nem technikai problémák az indexelésben

Minőségi tartalom

Ahogy fent idéztem, a Google ma már csak a kellően jó minőségű tartalmat szereti indexelni. Nézd meg a TOP20 találatot. Ezeknél jobb minőségű a te tartalmad? Ha nem, akkor nem lesz prioritás a keresőrobot számára a te tartalmad indexelése, hiszen a találati listájának minőségét nem fogja tudni javítani, ha az adatbázisába felvesz téged.

Túl sok gyenge minőségű tartalom

Előfordulhat, hogy az oldaladon túl sok a gyenge minőségű tartalom. Rövid cikkek, címkeoldalak, leindexelt keresési oldalak, duplikációk, attribútum oldalak, és a sort lehetne folytatni. A sok gyenge minőségű oldal miatt az egész oldal minősége gyengének tűnik a Google szemében és emiatt kevesebb URL-t fog feltérképezni és indexelni.

Ennek tipikus jele a „Feltérképezve, nem indexelve” URL-ek számának magas aránya a Search Console jelentéseiben.

Külső linkek

A Google számára egy oldal fontosságát jól mutatja a rá hivatkozó külső linkek száma. A külső link egyfajta szavazat, ez is mutatja egy oldal hitelességét és minőségét.

Egy új oldal, amire még nem mutat, vagy csak 1-2 külső link, a nem fontos a web számára, tehát nem lesz fontos a keresőrobotok számára sem.

Ha szeretnéd, hogy fontosnak tűnk, szerezz külső linkeket. Van egy külön linképítési tanfolyamom érdemes ezt elolvasni, de mindenkinek van ismerőse, barátja, beszállítója, kérj első körben az ő weboldalukról linket!

Ha már van 10 másik domain, ami rád hivatkozik, akkor elkezdtél beszállni a játékba.

Belső linkek

A Google nem fog indexelni minden aloldalt. Különösen igaz ez a webáruházakra, ahol ugyan azt a terméket jó eséllyel nagyon sok más weboldal kínálja.

Érdemes tehát a belső linkekkel megmutatni a keresőrobot számára, hogy melyek azok az URL-ek, amelyeket feltétlenül indexelni kell.

A Google szerint:

„A belső linkek nagyon fontosak számunkra, mivel megmutatják, hogy mely oldalakat tartasz fontosnak a weboldaladon”

„Például, ha egy oldal linket kap a főoldalról az egy jel, hogy számodra ez fontos, így mi is jobban odafigyelünk rá.

Tehát a legfontosabb oldalaid kapjanak linket a főoldalról és/vagy a felső menüsorodból. A többi közepesen fontos oldalad esetén is ügyelj rá, hogy lehetőleg 2 kattintással elérhetőek legyenek a főoldalról és kellő mennyiségű belső link mutasson rájuk.°

A Search Console Linkek/Belső linkek jelentésben tudod ellenőrizni, hogy mely belső oldalad hány másik belső oldalról kap linket.

Ezzel ellenőriheted, hogy indexelési szempontból elég fontosnak tűnik-e egy adott oldal a Google számára.

Konkrét indexelést és feltérképezést segítő módszerek

Search Console – Indexelési kérelem

Ez a legegyszerűbb és legbiztosabb módja az indexeltethetőségnek. Regisztráld be az oldalad a Search Console-ban, kérj URL ellenőrzést, majd kattints az indexelési kérelem gombra.

Az URL ellenőrzés, ahogy korábban írtam, konkrét hibákat is visszajelez. A módszer problémája, hogy csak egyesével lehet korlátozott számú URL-t beküldeni és meglehetősen időigényes.

Ráadásul, ha új oldalról van szó, könnyen lehet, hogy nem történik meg az indexelés ennek ellenére sem.

Webhelytérkép beküldése

Ez is egy alapmódszer. A Search Console-ban lehetőség van weboldalunk webhelytérképét beküldeni. Így biztosak lehetünk, hogy a Google megtalálja az URL-jeinket, azaz feltérképezésnek nem lesz akadály az, hogy nem tud az URL-ekről.

A webhelytérképet automatikusan előállítja és frissíti, pl. a WordPress Rank Math SEO Plugin.

Ha nagyszámú URL-el rendelkezel, akkor inkább több kisebb webhelytérképet küldj be, ne egy nagyot.

Feltérképezési büdzsé

Ez nagy oldalak (pl. webáruházak) esetén érdekes. A Google odafigyel arra, hogy a feltérképezés miatti szerverválaszok ne lassítsák be a weboldalunkat. Ha lassú a tárhelyszolgáltató szervere, akkor lassan fog haladni a feltérképezés is, mert a Google nem akar minket terhelni.

A feltérképezési büdzsé egy gyors tárhelyszolgáltatóval javítható. De hangsúlyozom ez a több tíz-százezer URL esetén érdekes kérdés.

A Search Console Feltérképezési statisztikák alatt meg tudod nézni naponta hány alkalommal térképezte fel a weboldaladat a Google keresőrobotja:

Ahogy láthatod, nálam naponta az oldal teljes URL számához hasonló feltérképezési mennyiséget kér le a Google. Ez jónak mondható. Ha a te arányod ennél lényegesen rosszabb, akkor az feltérképezési problémákra utalhat.

Haladó tippek az indexeléshez

Google Indexing API

A Google Indexing API arra szolgál, hogy a Live Streaming és Job Posting jellegű tartalmak gyorsan indexelésre kerüljenek. Bár hivatalosan ezen tartalmak indexeltetésére szolgál, valójában más tartalmaknál is működik. Hogy meddig az kérdéses, de jelenleg ez is egy működő megoldás.

A RankMath-nek van egy ingyenes bővítménye, ami ezt a kiskaput használja ki, és valóban villámgyorssá teszi az indexeltetést.

Bár az API nem erre való, és ahogy tömegessé válik a módszer vélhetően úgy fog megszűnni is, de most még érdemes lehet alkalmazni.

Google Cégem

Ha az új tartalmadat megosztod a Google My Busieness fiókodban (Bejegyzés, majd a további információban megadod az URL-t, akkor ez a módszer is működhet.

Google News-ba való bekerülés

Amint sikerül bekerülni a Google News-ba a feltérképezési gyakoriságod azonnal megugrik és néhány órán belül indexelésre kerülnek még az új tartalmaid is. Az ite.hu hivatalos Google News hírportál, így ezt gyakorlatból is tudom. Nyilván ez az opció azoknak áll fenn, akik rendszeresen publikálnak az oldalukon.

YouTube és közösségi média

Szőke Beáta remek cikkében ajánlja ezt a két módszert az indexelés felgyorsítására (és van egy speciális titkos módszere is).

A YouTube módszer lényege, hogy tölts fel egy videót a Youtube-ra, majd a leírásban add meg az indexelendő URL-t. A YouTube Google tulajdon, folyamatosan térképezi fel, nagyon gyorsan megtalálja így az URL-edet.

A másik, amiről Szőke Beáta ír, az a Közösségi Média használata. Posztold ki és oszd meg a tartalmadat, esetleg releváns szövegkörnyezetben. Véleménye szerint ez is segítheti az indexelést. Én személy szerint elsősorban a Twitter használatát javaslom, mert ezt a Facebookhoz kevésbé fér hozzá a Google.

Black Hat módszerek

Természetesen vannak Black Hat módszerek is. HA beírod a keresőbe, hogy black hat forum indexing, máris eljutsz azon szolgáltatókhoz, akik ilyen módszerekkel segítik az indexeltetést. De ezt természetesen senkinek sem ajánlom: )

És tényleg, ha hosszú távon is fennáll a probléma, akkor ott komoly problémák vanna és az indexeltetés nem fog eredményt hozni, mert a rangsorolásod akkor is gyenge lesz.

Search Console Lefedettségi jelentés

Végül hasznos, ha megismered a Search Console lefedettségi jelentését, hiszen itt tudod követni, hogy mely URL-jeid vannak indexeltetve és melyek vannak kizárva az indexelésből. Én itt most a Kizárt URL-ekre koncentrálok, hiszen ezek érdekesek számunkra.

Alternatív oldal megfelelő kanonikus címkével

Itt nincs teendőd. ezek olyan URL-ek, amelyek más URL-re mutatnak, mint eredeti forrásra (gyakori pl, ha az AMP oldalaid külön URLre kerülnek.

Átirányítást tartalmazó oldal

Ha egy URL-t átirányítasz egy másik URL-re akkor kikerülnek a Google indexből. ez is természetes, akkor van gond, ha itt olyan URL-eket találsz amit indexeltetni szeretnél.

Feltérképezve – jelenleg nincs indexelve

Ez a rettegett. A Google feltérképezte, de még nem indexelte a tartalmat. Ez lehet később megtörténik majd, de ha sok ilyen URL-ed van, az a gyenge oldalminőség klasszikus jele. Ez lehet a gyenge tartalomból ered, de az is lehet, hogy még kevés az oldal iránti bizalom, pl. kevés külső link mutat rád.

Felfedezve – jelenleg nincs indexelve

Ezt az URL-t a Google már megtalálta, de a keresőrobotjai még nem térképezték fel. Ez után a következő lépés a feltérképezés, majd az indexelés. Ha egy URL tartósan itt tartózkodik, az szintén a gyenge oldalminőség jele. Fontos, hogy nem biztos, hogy a konkrét URL-le van gond, lehet a weboldal egésze nem nyerte el még a Google bizalmát.

Kizárva egy „noindex” címke miatt

Erről beszéltem feljebb, nincs más teendőd, mint levenni a meta robots noindex címkét. Fontos, hogy csak a jó minőségű URL-eket indexeltessük, tehát SEO szempontból előnyös is lehet, ha az URL-ek egy része noindex címkével van ellátva.

Nem található (404)

Ide azok az URL-ek kerülnek, amelyek a közelmúltban még élő URL-ek voltak, de törlésre kerültek, ezért 404-es hiba oldalt adnak vissza.. Néha előfordul a 404-es oldalakkal, hogy még külső link mutat rájuk, ezért nem tűnnek el a jelentésből. ezeket érdemes átirányítani..

Párhuzamos oldal felhasználó által választott gyűjtőoldal nélkül

Olyan URL-ek, amelyek tartalma más URL-en is megtalálhatóak, de nincsenek megfelelően átirányítva, vagy kanonikus címkével ellátva.

Párhuzamos oldal; a Google a felhasználó által megjelölt gyűjtőoldaltól eltérőt választott

Olyan URL, ahol van megfelelő kanonikus címke, de a Google azt nem fogadta el és helyette egy másik URL-t választott.

Záró gondolat az indexelés problémákról

Nem vagy egyedül. Különösen új oldalak esetén teljesen általános, hogy a Google lassan és nehezen indexeli a tartalmaidat.

Ez nagyon bosszantó tud lenni, de ne add fel. Szerezz külső linkeket, legyen a tartalmad jobb, mint a TOP találatoké, és ha ez megvan fel fog gyorsulni az indexelésed.

Amíg az indexelésed ilyen lassú, addig úgyse rangsorolna jó helyen a Google. Javíts a minőségen, szerezz bizalmat linkekkel, és nem lesz gond az indexeléssel, és utána a rangsorolással sem.