Hvis man driver en hjemmeside, der sammenligner priser, er det selvfølgelig uhyre vigtigt, at man indsamler en hel masse data. Dette kan gøres på flere forskellige måder, men en meget normal og ret præcis måde, hvorpå dette kan gøres er ved hjælp af såkaldte crawlere eller crawler bots. Disse crawlere trawler altså igennem enormt meget …