En savoir plus sur Scrapy au lien officiel de la documentation: https://scrapy.org/pour plus d`informations, j`ai recommandé de lire le grand article Web Scraping et ramper sont parfaitement légaux, non? par Ben Bernard les araignées sont des classes que vous définissez et que Scrapy utilise pour gratter les informations d`un site Web (ou un groupe de sites Web). Ils doivent sous-classer le Scrapy. Spider et définir les demandes initiales à faire, éventuellement la façon de suivre les liens dans les pages, et comment analyser le contenu de la page téléchargée pour extraire des données. Le Scrapy peut être utilisé comme avancement dans la démolition. Il contient des classes et des méthodes riches pour extraire des données de plusieurs sources. Après cela, j`ai appelé méthode d`analyse récursivement pour chaque page dans l`URL définie. Il est beaucoup plus facile de travailler avec Scrapy ainsi que le code beaucoup plus court nécessite comparativement. Oui, vous pouvez utiliser beautifulSoup pour obtenir ce fait. Tout d`abord, vous devez comprendre Document Object Model (DOM). Recherchez le code source de la page en cliquant avec le bouton droit sur le site Web et sélectionnez le code source. Ici, vous pouvez regarder ce qui est l`ID ou la classe de Cap que vous voulez analyser.

Je suppose que vous connaissez les balises HTML de base, mais si mon hypothèse est false, puis suivez le lien Tutoriel HTML. Si ce n`est pas trop un inconvénient, pourriez-vous fournir un exemple semblable à ci-dessus pour obtenir les meilleurs prix de l`essence/pétrole dans une région particulière ou au moins nous indiquer un bon matériel de référence? Il s`avérer être une grande aide pour moi Merci:) aussi, nous devons importer config.py fichier pour utiliser la configuration globale. Par exemple, ouvrez n`importe quelle page de produit à partir de amazon.com. Le contenu entier du produit sera généré après le JavaScript fait. C`était un excellent article! En tant que débutant à Web grattant vous a expliqué tout très bien. Merci pour le partage! plus loin, nous devons installer BeautifulSoup et cssutils en utilisant PIP, un outil de gestion de paquets pour Python. quel éditeur de texte vous devez utilisé pour cette exécution de code entier comme l`importation, et d`autres pour télécharger la source de la page, j`ai utilisé la bibliothèque urllib où contextspécifie un certificat SSL faux pour éviter les exceptions SSL et les en-têtes sont importés à partir de la configuration globale pour éviter 503 exception générée par les serveurs Web. Ainsi, il se résume à la vitesse par rapport à la robustesse du code et il n`y a pas de vainqueur universel ici.

Si les informations que vous recherchez peuvent être extraites avec des instructions Regex simples, vous devriez aller de l`avant et les utiliser.