Mi az a robot? lánctalpas eszköz „Yandex” és a Google

Minden nap az interneten van egy hatalmas mennyiségű új anyag létrehozásához honlap naprakész a régi weboldalak, fotók és videók feltöltését. Anélkül rejtve keresők nem található a World Wide Web, azonban ezen iratok. Alternatívák mint robot programok bármikor nem létezik. Mi a keresést robot, hogy miért kell ez, és hogyan működik?

Mi a keresési robot

Lánctalpas hely (search engine) - ez egy automatikus program, amely képes látogasson el a weboldalak millióit, gyorsan navigál az interneten keresztül anélkül, hogy a kezelő beavatkozása. Botok folyamatosan szkennelési helyet a World Wide Web, hogy új weboldalakat, és rendszeresen látogatom már indexelt. Egyéb elnevezések webes robotok pókok, csúszómászó, robotok.

Miért keresőrobotok

A fő funkciók elvégzésére keresőrobotok - indexelt oldalak, valamint a szöveg, kép, hang és videó fájlok, amelyek rájuk. Botok ellenőrizze referenciák, tüköroldalak (másolat) és frissítéseket. A robotok is végeznek HTML-kód ellenőrzés megfelelőségi előírások Világszervezet, amely fejleszti és megvalósítja a technológiai szabványok a World Wide Web.

Mi az indexelés és miért van szükség

Indexelés - van, sőt, az a folyamat, a látogató egy adott weboldal a keresőkben. A program beolvassa a szöveget az oldalon, képeket, videókat, a kimenő linkeket, akkor az oldal jelenik meg a keresési eredmények között. Bizonyos esetekben, a helyszínen nem lehet beolvasni automatikusan, akkor adhatunk a kereső kézzel webmester. Általában ez akkor történik, ennek hiányában a külső linkek egy adott (gyakran csak a közelmúltban létrehozott) oldal.

Hogyan, hogy a keresőrobotok

Minden kereső saját bot a Google kereső robot jelentősen változhat mechanizmus szerint működik egy hasonló program, „Yandex”, vagy más rendszerekben.

Általában a robot működési elve a következő: a program „jön” a helyszíni és külső linkek a főoldalon, „olvassa” Web erőforrás (beleértve azok számára, akik feje fölött, hogy nem látja a felhasználó). Hajó, hogyan kell navigálni az oldalak között a helyszínen, és lépni a többiek.

A program melyik oldalon az index? Sokszor nem „utazás” a pók kezdődik híroldalak vagy nagyobb erőforrás könyvtárak és aggregátor nagy referencia súlyát. Lánctalpas folyamatosan beolvassa az oldalakat egyenként, a sebesség és a következetesség indexelni a következő tényezőket:

• Belső: perelinovka (belső közötti kapcsolatok oldalak ugyanazon forrás), site mérete, a helyes kódot, felhasználóbarát, és így tovább;
• Külső: a teljes referencia súly, ami a helyszínen.

Az első dolog, amit a kereső robot keresések bármely weboldalon a robots.txt. További erőforrás indexelés alapján hajtjuk végre a beérkezett információ a dokumentumról. Ez a fájl tartalmazza a konkrét utasításokat a „pók”, amely növeli az esélyét az oldal látogatásai keresők, és ennek következtében az egy korai hit helyén a „Yandex” vagy a Google.

Program analógok bejárók

Gyakran a „keresés robot” zavaros intelligens, felhasználó vagy autonóm ágensek „hangyák” vagy „férgek”. Elmerül jelentős különbségek csak képest szerek, egyéb meghatározását lásd a hasonló típusú robotok.

Például, alkalmas anyagok lehetnek:

• szellemi: a program, ami mozgatja a webhelyek, függetlenül dönt, hogyan kell eljárni; ezek nem túl gyakori az interneten;
• Önálló: Ezek a hatóanyagok segítik a felhasználót egy termék kiválasztásánál, keresés, vagy űrlapok kitöltése, az úgynevezett szűrők, amelyek kevés kapcsolódó hálózati programok.;
• user: a program hozzájárul a felhasználói interakció a World Wide Web, a böngésző (például Opera, IE, Google Chrome, Firefox), hírvivők (Viber, távirat), vagy e-mail programok (MS Outlook és a Qualcomm).

„Hangyák” és a „férgek” jobban hasonlít a kereső „pók”. Az első forma közötti hálózati és következetesen kölcsönhatásba ilyen kolónia „férgek” képes lemásolni más tekintetben megegyezik a standard bejáró.

Változatos kereső robotok

Megkülönböztetni a sok fajta csúszómászó. Attól függően, hogy a program célja, ezek a következők:

• „Mirror” - ismétlődések böngészi weboldalak.
• Mobile - összpontosít mobilverziói weboldalakat.
• Gyors - rögzíti az új információk gyors megtekintésével a legújabb frissítéseket.
• Referencia - referencia index, megszámolják a számokat.
• Indexers különböző típusú tartalmak - különleges programokat szöveg, hang, videó, kép.
• „Spyware” - oldalakat keres, amelyek még nem jelenik meg a kereső.
• „Harkály” - rendszeresen látogassa oldalakat, hogy ellenőrizze a megfelelőségét és hatékonyságát.
• Országos - böngészés a weben erőforrás található az ország egyik domének (pl .mobi vagy .kz .ua).
• Global - index minden nemzeti oldalakon.

Robotok nagy keresőprogramok

Van még néhány keresőmotor pókok. Elméletileg a funkcionalitás széles határok között változhat, de a gyakorlatban a programok szinte azonosak. A fő különbség indexelése weboldalakat robotok két nagy keresőprogramok a következők:

• A szigorúság a tesztelés. Úgy véljük, hogy a mechanizmus a bejáró „Yandex” némileg szigorúbb becslést a helyszínen a szabványoknak való megfelelés, a World Wide Web.
• Épségének megőrzéséhez az oldalon. A Google robot indexek a teljes webhely (beleértve a médiatartalom), „Yandex” is megtekintheti tartalom szelektíven.
• Sebesség teszt az új oldalt. Google hozzáadja az új erőforrás a keresési eredmények néhány napon belül, abban az esetben „a Yandex” folyamat eltarthat két hétig vagy tovább.
• A frekvencia újbóli indexelés. Lánctalpas „Yandex” Frissítések hetente kétszer, és a Google - egy minden 14. napon.

Internet, természetesen nem korlátozódik a két keresők. További keresők megvan a robotok, akik követik a saját indexelés paramétereit. Ezen kívül számos „pók”, amelyek célja nem súlyos keresés források, és az egyes csoportok vagy webmesterek.

tévhittel

A közhiedelemmel ellentétben, „pók” nem dolgozza fel az információkat. A program csak keresi és tárolja a weboldalak és a további feldolgozás vesz egy teljesen más robotok.

Sok felhasználó úgy vélik, hogy a keresőrobotok negatív hatással és „káros” Internet. Sőt, egyes változatai „pók” jelentősen túlterheli a szervert. Van is egy emberi tényező - a webmester, aki megalkotta a programot, lehet hibázni a robot konfigurációban. Mégis a legtöbb meglévő programok jól megtervezett és szakszerűen irányított, és a felmerülő problémákat haladéktalanul el kell távolítani.

Hogyan kell kezelni az indexelés

Keresőmotor robotok automatizált programok, de az indexelési folyamat részben szabályozható a webmester. Ez nagyban segíti a külső és belső optimalizálás a forrás. Ezen kívül manuálisan is hozzáadhat egy új helyszínen, hogy a kereső: nagy erőforrásokat egy speciális formája a weblapok regisztráció.