Mag ik een 'crawler' maken en andere websites door scannen?

Er zijn verschillende bots die websites doorscannen en indexeren. Zoekmachines als google en bing gebruiken 'crawlers' die een paar keer per dag je website doorzoeken naar relevante woorden en baseren op deze manier je website in hun zoekresultaten. Ik ben zelf een software ontwikkelaar en ik wil ook een crawler maken die bepaalde websites doorscant. Ik wil bepaalde websites doorspitten en alle prijzen van artikelen verzamelen en opslaan in mijn eigen database. Met deze informatie wil ik een vergelijkings site maken. Ik wil geen copyright schenden en teksten of afbeeldingen kopiëren. Enkel prijzen en eventueel artikel namen. Dit is informatie wat ook gewoon in winkels/publiekelijk zichtbaar is. Ter vergelijking zou ik in theorie ook gewoon langs de winkel kunnen gaan en alle artikelen en prijzen noteren en invoeren in mijn database. Dat lijkt mij geen copyright schending. Ik vraag mij af of ik dit zomaar mag doen? Kan ik juridisch in de problemen komen als ik op deze manier informatie verzamel?

Daar zitten veel haken en ogen aan. Zie facebook nu, die hebben alles verzameld. Ik zie hier vooral een issue dat je persoonsgegevens verzameld zonder toestemming. Verder kan een crawler wellicht een website platleggen, soort ddos?

 

Ook in de VS zijn er issues:

https://resources.distilnetworks.com/all-blog-posts/is-web-scraping-illegal-depends-on-what-the-meaning-of-the-word-is-is

Als je het al doet moet je dus niet vindbaar zijn.