Paieškos sistemos robotas yra atsakingas už tinklalapių tikrinimą. Programa automatiškai nuskaito visų svetainių duomenis ir užregistruoja juos pačiai paieškos sistemai suprantama forma, kad vėliau sistema parodytų vartotojui tinkamiausius rezultatus.
Funkcijos
Visa indeksuota informacija įrašoma į bendrą duomenų bazę.
Paieškos robotas yra programa, kuri automatiškai keliauja per interneto puslapius, prašydama reikalingų dokumentų ir gaudama tikrinamų svetainių struktūrą. Robotas savarankiškai pasirenka nuskaitomus puslapius. Daugeliu atvejų skenuojamos vietos pasirenkamos atsitiktinai.
Botų tipai
Netinkamai veikiantis robotas žymiai padidina tinklo ir serverio apkrovą, todėl resursas gali būti nepasiekiamas.
Kiekviename paieškos variklyje yra kelios programos, vadinamos robotais. Kiekvienas iš jų gali atlikti tam tikrą funkciją. Pavyzdžiui, „Yandex“kompanijoje kai kurie robotai yra atsakingi už RSS naujienų sklaidą, kuri bus naudinga indeksuojant tinklaraščius. Taip pat yra programų, kurios ieško tik nuotraukų. Tačiau svarbiausias dalykas yra indeksavimo robotas, kuris yra bet kokios paieškos pagrindas. Taip pat yra papildomas greitas robotas, skirtas naujienų kanalų ir įvykių naujienų paieškai.
Nuskaitymo procedūra
Kitas būdas užkirsti kelią turinio tikrinimui yra sukurti prieigą prie svetainės per registracijos skydelį.
Lankydamasi svetainėje programa nuskaito failų sistemą, ar nėra robots.txt instrukcijų failų. Jei yra dokumentas, pradedami skaityti dokumente užrašyti nurodymai. „Robots.txt“gali uždrausti arba, priešingai, leisti nuskaityti tam tikrus svetainės puslapius ir failus.
Nuskaitymo procesas priklauso nuo programos tipo. Kartais robotai skaito tik puslapių pavadinimus ir kelias pastraipas. Kai kuriais atvejais nuskaitymas atliekamas visame dokumente, atsižvelgiant į HTML žymėjimą, kuris taip pat gali būti priemonė nurodyti pagrindines frazes. Kai kurios programos specializuojasi paslėptose arba metažymėse.
Pridedama prie sąrašo
Kiekvienas žiniatinklio valdytojas gali neleisti paieškos varikliui tikrinti puslapių per robots.txt arba META žymą. Be to, svetainės kūrėjas gali rankiniu būdu pridėti svetainę prie indeksavimo eilės, tačiau jos pridėjimas nereiškia, kad robotas iškart nuskaitys norimą puslapį. Norėdami įtraukti svetainę į eilę, paieškos sistemos taip pat teikia specialias sąsajas. Svetainės pridėjimas žymiai pagreitina indeksavimo procesą. Be to, norint greitai užsiregistruoti paieškos sistemoje, gali būti naudojamos žiniatinklio analizės sistemos, svetainių katalogai ir kt.
