Miután megírtuk és közzétettük a legújabb bejegyzésünket, hogyan vegyük rá a keresőket, hogy minél hamarabb indexeljék is azt? Különösen fontos kérdés ez időérzékeny témák esetén, úgymint a friss hírek, vagy az élő stream-adások.
A Google és más keresők többek közt az oldal népszerűsége és a frissítések gyakorisága alapján döntik el, hogy milyen időközönként térképeznek fel egy webhelyet. Közvetlenül befolyásolni a döntésüket nem nagyon lehet. A feltérképezési (crawling) rátát korlátozni még csak-csak lehet, de növelni nem.
Manuális Beküldés Indexelésre
A Google Search Console-ban és a Bing Webmaster Tools-ban is már jó ideje van arra lehetőség, hogy manuálisan beküldjünk URL-eket indexelésre. A Google-nél az oldal ilyenkor felkerül egy “várólistára”, és ahogy a dokumentációjukban is írják, akár több hétbe (!) is beletelhet, mire bekerül az oldal a keresési eredmények közé. A Bing megoldása ezzel szemben azonnali, beküldés után általában perceken belül megtalálható az oldal a keresőben.
Mindkét kereső URL-beküldési funkciójának vannak korlátai, de míg a Bing egyértelműen elárulja a limitet (ami a site korától és más jellemzőitől függően 10 és 10 000 per nap között mozog), addig a Google-nél jelenleg nem találunk ilyen számot (bár régebben volt szó a dokumentációban egy egységes havi 500-as, majd napi 10-es limitről).
XML Webhelytérképek
A manuális beküldés mellett jelenleg a legkényelmesebb módja a gyors és alapos indexelésnek az XML sitemap létrehozása és beküldése. A webhelytérképek lényeges előnye a manuális beküldéssel szemben, hogy egy program által is elvégezhető minden lépése, tehát automatizálható a folyamat. A keresőknek pedig előny a könnyű feldolgozhatóság.
Ha valamilyen CMS-t használunk, pl. WordPress-t, Wixet, vagy Bloggert, akkor esélyes, hogy a webhelytérképünk már létre van hozva, és mind a Google-t, mind a Binget automatikusan “pingeli” (értesíti) a tartalomkezelő rendszer, amikor új oldalt teszünk közzé. A keresők külön értesítés nélkül is újra lekérik időnként a webhelytérképet, hogy feltérképezhessék az új tartalmakat.
Időérzékeny témáknál nem biztos, hogy sokat segít a webhelytérkép beküldése, mert sem a Google, sem a Bing nem szokta értesítés után azonnal feltérképezni a webhelytérképet, és a benne linkelt új tartalmakat.
Érdemes megemlíteni még az RSS feedeket, mint a tartalom felfedezését és feltérképezését potenciálisan segítő technológia. A feedek az XML webhelytérképekhez hasonlóan automatikusan frissülnek, és robotok által könnyen feldolgozható formában kínálják az adatokat, de nem annyira egységes és kompakt módon, mint a webhelytérképek.
Indexing API és Submission API
Itt jön a képbe a Google Indexing API-ja és a Bing Submission API-jai.
Az API, azaz Application Programming Interface (magyarul alkalmazásprogramozási felület) egy program azon funkcióit jelenti, amiket más programok felhasználhatnak.
Ezek az API-k kifejezetten azért jöttek létre, hogy más programok (például egy tartalomkezelő) könnyen és gyorsan értesítsék a keresőket az új tartalomról, vagy akár magát a tartalmat is átadhassák a keresőnek, így annak le sem kell kérnie az oldalt. Az API-kon keresztül beküldött URL-ek és tartalmak (a hivatalos dokumentációk szerint) gyorsabban lesznek indexelve, mint a sitemap-ben beküldöttek.
A Google Indexing API
A Google Indexing API-ja 2018 közepe óta használható. Először kizárólag álláshirdetésekre lehetett alkalmazni, később ez kiegészült az élő streaming-adásokat tartalmazó oldalakra. Ez a korlátozás a cikk írásakor is érvényben van, tehát az Indexing API-t (elvileg) csak olyan oldalak beküldésére lehet használni, amik tartalmaznak JobPosting
vagy BroadcastEvent
strukturált adatokat.
Természetesen a felhasználók más típusú tartalmakkal is letesztelték az API-t, és több-kevesebb sikerről számoltak be: lásd David Sottimano, Willmann Tobias, vagy a Rank Math cikkeit a témában. Még ha valóban működött is a dolog egyszer, és felgyorsította az oldalak indexelését, akkor sem biztos, hogy még ma is működik.
Használat előtt az API-t konfigurálni kell: a Google API Console oldalán egy új projektet kell létrehozni, utána egy “szolgáltatásfiókot”, a kettőt a Search Console-ban összekötni, majd létrehozni a megfelelő API kulcsot az API Console-ban – ez egy sok lépésből álló hosszú folyamat, ami elsőre még a témában jártas felhasználóknak sem egyszerű.
Az API-val értesíthetjük a Google-t az új, frissített, és törölt tartalmakról, illetve lekérhetjük egyes URL-ek státuszát (legutóbbi beküldés vagy törlés ideje, stb.). A tapasztalatok szerint a Google bot a beküldés után általában perceken belül felkeresi az oldalt, az indexelési idő viszont változó, főleg a nem rendeltetésszerű használat esetén (nem álláshirdetés vagy streaming típusú tartalmaknál).
Az API naponta, webhelyenként 200 kérést enged alapból, de ha szükséges, akkor egyénileg lehet kérni a kvóta emelését. Az API teljesen ingyenes, még a külön igényelhető többlet-kérésekért sem kell fizetni.
A Bing Submission API-k
A Bing rögtön két eszközt is kínál, igaz, az egyik a cikk írásakor még béta verzióban van, és csak előzetes jelentkezés után használható.
A Bing URL Submission API nagyjából ugyanazt nyújtja, mint a Google Indexing API, annak hátrányai nélkül – minden típusú tartalomhoz használható, és könnyebben konfigurálható, mint a Google megoldása. A felhasználói tapasztalatok azt mutatják, hogy akár két percen belül be is kerül az oldal a keresési eredmények közé.
A Bingnél a fent említett, Webmaster Tools-ból elérhető manuális beküldés funkció is a Submission API-ra épül, tehát ugyanazt a funkciót lehet elérni a Webmaster Tools-ból, mint amit különböző programok által elérünk, az API-n keresztül. A limitek is ugyanazok – a weboldal jellemzőitől függően napi 10 és 10 000 közötti kérést kapunk. Az API-n keresztül bármikor lekérhető a maradék kvóta, illetve a Webmaster Tools felületén is megtaláljuk ezeket a számokat.
A Bing Content Submission API viszonylag friss eszköz, 2021 májusa óta elérhető béta verzióban. Jelenleg csak előzetes jelentkezés és jóváhagyás után használható. Ezzel az API-val az URL-ek helyett (mellett) közvetlenül a (szöveges, képi, és HTML) tartalmat is beküldhetjük a Bing rendszerébe, így a botnak le sem kell kérnie az adatokat a webhelyünkről. A zárt béta és az API újdonsága miatt még nem nagyon vannak felhasználói visszajelzések erről az eszközről.
Hogyan használjuk?
Ha WordPress weboldalt használunk, akkor több bővítmény is elérhető ezen API-k használatához. Kettőt emelnénk ki:
- A Bing URL Submissions Plugin a Bing hivatalos bővítménye a Submission API használatához. Lehetővé teszi a közzétett/frissített/törölt oldalak automatikus beküldését, illetve manuális kéréseket is lehet küldeni az API felé.
- A Rank Math SEO bővítményben megtalálhatók ugyanazok a funkciók, mint a Bing hivatalos pluginjában, és egy kiegészítő plugin telepítése után még a Google API-ja is használható benne. A Rank Math ezen kívül tartalmaz minden on-site SEO funkciót, amire szükség lehet egy WP oldalon. Magyar nyelvű leírása itt található: Rank Math Beállítások Lépésről Lépésre
A jövőben bizonyosan beépítik ezen API-kat más SEO eszközökbe és tartalomkezelő rendszerekbe is. Addig pedig az is megoldás lehet, ha manuálisan küldünk kéréseket az API-k felé egy API klienssel, mint amilyen például a Postman vagy az Insomnia REST Client.
Összegzés
A Google API-ja az átlagos weboldalak kb. 99%-ánál hivatalosan nem használható. Ha a weboldalunk álláshirdetésekkel vagy élő streaming adásokkal foglalkozik, akkor érdemes egy próbát tenni vele.
A tartalmi korlátozás és a nehézkes konfiguráció miatt egyelőre nem túl elterjedt az API, de egyes szakemberek szerint a jövőben ez változni fog, és ha a korlátozásokat feloldják, akkor az előnyei miatt az efféle API-k akár a keresők elsődleges indexelési módjává is válhatnak.
A Bing megoldása szélesebb körben használható és felhasználóbarátabb, de a csekély piaci részesedés miatt egy átlagos weboldalnál nem sokat vet a latba a használata. Mindenesetre, ha van rá lehetőségünk, akkor használjuk ki az előnyeit.
Arra mind a Google, mind a Bing felhívja a figyelmet a dokumentációikban, hogy ezen API-k (egyelőre) csak kiegészítői a “hagyományos” SEO technikáknak, és az API-k alkalmazásától függetlenül érdemes továbbra is használni például a webhelytérképeket ha biztosra akarunk menni az oldalak indexelését illetően.