Nous sommes très nombreux à scraper Google et cela coûte cher en proxy.
Afin d’économiser du temps et de l’argent on vous propose un projet de « scrap commun & centralisé » pour ne plus avoir à scraper chacun de notre coté.
On vous propose pour débuter ce projet le site suivant : http://www.analyse-referencement.fr/
L’idée c’est :
1) Scraper Google chaque jour sur des mots clés et stocker le resultat HTML pour le fournir à la demande n’importe quand grace à une API
2) Récupérer la liste des urls présente dans les SERPs Google et stocker le resultat dans un tableau Json pour le fournir à la demande n’importe quand grace à une API
3) Scraper le contenu de chaque site positionné et stocker le resultat HTML pour le fournir à la demande n’importe quand grace à une API
4) Créer des rapports en utilisant ces données et pourquoi pas d’autres pour fournir des rapports à la demande n’importe quand grace à une API