Web crawler
Web crawler, inaczej robot internetowy, to program, który automatycznie przeszukuje sieć w celu indeksowania stron internetowych. Jest używany głównie przez wyszukiwarki, takie jak Google czy Bing, do skanowania i aktualizowania swojej bazy danych stron internetowych. Crawler porusza się po sieci, przechodząc z jednej strony na drugą poprzez linki i zbierając informacje o zawartości stron.
Dodaj komentarz