Definition

A web crawler is a program operated by search engines that downloads and indexes content from the entire world wide web in order to provide users with relevant links when searching.

Example sentence

Google’s web crawler called Googlebot is constantly being upgraded to be able to process continuously emerging new features contained in modern web sites.

Comment

A web crawler, sometimes called also a web spider or spiderbot, is a computer software that systematically browses webpages to discover what information they contain while putting together a list of most important words that is then used when people search for things. Such indexing is useful because there is so much content on the internet that otherwise it would not be possible to find any relevant results in real time. Web crawlers usually start with the most popular pages, then move on to those connected with these via hyperlinks and so forth until all interconnected webs are scanned. Results of such crawling are then stored and crawlers are used repeatedly to discover if any changes were made to the web content. Many owners of web sites adjust their webs to be easily indexed and possibly ranked high on the list of web crawlers’ results, which is also a part of so-called search engine optimization (SEO).

Definice

Web crawler je program provozovaný internetovými vyhledávači, který stahuje a indexuje obsah z celého internetu, aby mohl uživatelům poskytnout relevantní odkazy, když vyhledávají.  

Příklad použití ve větě

Web crawler Googlu, který se nazývá Googlebot, je neustále vylepšován tak, aby uměl zpracovat neustále se objevující nové prvky obsažené v moderních webových stránkách.

Poznámka

Web crawler, někdy nazýván v angličtině také web spider nebo spiderbot je software, který systematicky prohlíží webové stránky, aby zjistil, jaké informace obsahují, a dává dohromady seznam nejdůležitějších slov, který se potom používá, když lidé vyhledávají. Takové indexování je užitečné hlavně z toho důvodu, že na internetu je příliš mnoho obsahu na to, aby bylo možné najít relevantní výsledky v reálném čase. Web crawlery většinou začínají s populárními stránkami a postupují k těm, na které tyto stránky odkazují hyperlinky a tak dále, až projdou všechny takto propojené weby. Získané výsledky se ukládají a crawlery se používají opakovaně, aby se zjistilo, k jakým změnám na stránkách došlo. Mnoho vlastníků webů přizpůsobuje své weby tak, aby byly jednoduše indexovatelné a potenciálně se objevovaly vysoko ve výsledcích hledání, což je také součástí tzv. SEO optimalizace.

Business Term of the Day

English Editorial Services’ mission is to assist international businesses and organizations of all sizes to communicate clearly, correctly, and persuasively with their business partners and target audiences.

Simply subscribe to receive our Business Term of the Day at no charge to your inbox each business day, with explanation in English and Czech.

Subscribe