DE TREFWOORDEN DAGBOEKEN

Crawlers zijn programma’s (bots) welke dit internet scannen op andere ofwel bijgewerkte pagina’s, en die pagina’s dan voor indexering met crawlers voorleggen.In 1994 ontwikkelde een team studenten aangaande Yahoo! ons zoekmachine met de titel Yahoo! Directory. Dit was een met de allereerste crawlers die websites indexeerde op inhoud in plaats