Web crawler

Vzhledem k aktuální velikosti webu mohou i velké vyhledávací stroje pokrývat pouze část veřejně přístupné části. Studie z roku 2009 ukázala, že i největší vyhledávače nezahrnují více než 40–70% indexovatelného webu.[3] Jelikož crawler vždy stahuje jen zlomek navštívených webových stránek, je velmi žádoucí, aby stažený zlomek obsahoval nejrelevantnější stránky a ne jen náhodnou ukázku webu. Významnost webu se určuje dle několika kritérií jako je počet na něj vedoucích odkazů (zde je hodnocena i věrohodnost odkazů), zpětné odkazy nebo PageRank.

Pro zajištění efektivního sběru dat a aktuálnosti indexovaného obsahu je velmi důležité zajistit optimální časové intervaly pro opětovné navštívení stránek a aktualizaci indexovaných údajů. Časový interval mezi jednotlivými návštěvami je určen mnoha faktory, jako je frekvence změn na stránce, její PageRank, ale i technické omezení serveru (aby nedošlo k jeho přetížení). K stanovení, zda stránku stáhnout nebo ne jsou zpravidla používány funkce aktuálnosti (Freshness) a stáří (Age).[4]

Obě funkce lze vyjádřit následovně:

Aktuálnost je funkce data poslední změny t stránky p oproti datu stránky v databázi vyhledávače.

${\displaystyle F_{p}(t)={\begin{cases}1&{\text{pokud}}\ p{\text{ je shodná s lokální kopií v čase}}\ t\\0&{\text{v ostatních případech}}\end{cases}}}$

Stáří stránky vyjadřující neaktuálnost lokální kopie stránky p v databázi vyhledávače v čase t je vyjádřeno funkcí:

${\displaystyle A_{p}(t)={\begin{cases}0&{\text{pokud}}\ p{\text{ nebylo v čase}}\ t{\text{ modifikováno}}\\t-{\text{čas změny}}\ p&{\text{v ostatních případech}}\end{cases}}}$

Crawleři procházejí a stahují data z webových stránek mnohem rychleji než lidé, a proto mohou mít škodlivý vliv na zatížení serveru. Netřeba dodávat, že pokud jeden prohledávač provádí více požadavků za sekundu a/nebo stahuje velké soubory, server by těžko zvládl nápor více crawlerů současně nebo v určitých případech třeba i jen jediného crawlera procházejícího několik webů umístěných na jednom serveru souběžně.

Jak uvádí Martin Koster, největšími problémy, které crawleři způsobují, jsou:[5]

• síťové zdroje, protože crawleři vyžadují značnou šířku pásma a operují na vysokém stupni paralelního přístupu po dlouhou dobu,
• přetížení serverů, hlavně tehdy pokud je frekvence přístupů k danému serveru příliš vysoká,
• špatně napsaní crawleři, které dokážou způsobit výpadek serveru nebo ty, které stahují stránky, které neumějí zpracovat,
• soukromé sběrače dat, pokud jsou nasazeny příliš mnoha uživateli, mohou způsobit narušení sítí nebo webových serverů.

Částečným řešením je omezení nebo zákaz vstupu robotů na web pomocí tzv. Robots Exlusion Protocolu – soubor robots.txt. Tento textový soubor stanovuje, které části webových serverů jsou pro crawlery přístupné. Lze zde také povolit/zakázat přístup konkrétním crawlerům.

Při využívání crawlera, který je schopen paralelního spouštění více procesů je nutné zajistit, aby nedocházelo k paralelním nebo opakujícím se přístupům ke stejnému zdroji. Cílem je maximalizovat rychlost stahování při minimalizaci režie z paralelizace a zabránit opakovaným stahováním stejné stránky. Aby nedocházelo ke stahování stejné stránky více než jednou, systém procházení vyžaduje politiku přidělování nových adres URL zjištěných během procesu procházení, protože stejná adresa URL může být nalezena dvěma různými procházeními.