Web crawler

Web crawler, inaczej robot internetowy, to program, który automatycznie przeszukuje sieć w celu indeksowania stron internetowych. Jest używany głównie przez wyszukiwarki, takie jak Google czy Bing, do skanowania i aktualizowania swojej bazy danych stron internetowych. Crawler porusza się po sieci, przechodząc z jednej strony na drugą poprzez linki i zbierając informacje o zawartości stron.

301 Redirect
Share

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *