Webscrapen en Crawlen met Python

Het internet is niet alleen een verzameling webpagina’s, het is een gigantische bron van interessante gegevens. Automatisch deze gegevens kunnen extraheren is een waardevolle vaardigheid. Het is zeker uitdagend, maar met de juiste kennis en tools kun je een schat aan informatie gebruiken voor je persoonlijke en professionele data science projecten.

Stel je voor dat je een webscraper bouwt die legaal informatie verzamelt over potentiële huizen om te kopen, een proces dat automatisch dat vervelende formulier invult om een rapport te downloaden, of een crawler die een bestaande dataset verrijkt met weersinformatie. In deze hands-on workshop leren we je hoe je dat kunt bereiken met Python en een handvol packages.

Je leert over de concepten die ten grondslag liggen aan HTML, CSS-selectors en HTTP-verzoeken; en hoe je deze kunt inspecteren met behulp van de ontwikkelaarstools van de browser. We laten je zien hoe je rommelige HTML kunt omzetten in gestructureerde datasets, hoe je de interactie met dynamische websites en formulieren kunt automatiseren en hoe je crawlers kunt opzetten die duizenden of miljoenen websites kunnen doorspitten. Door tal van oefeningen ben je in staat om deze nieuwe kennis in een mum van tijd toe te passen op je eigen projecten.

Leerdoelen

• De uitdaging om rommelige HTML te scrapen
• De structuur van GET- en POST-verzoeken
• Hoe HTML-elementen en attributen te selecteren zijn met behulp van CSS-selectors
• Het verschil tussen een statische en een dynamische website
• Hoe gegevens uit een dynamische website te halen
• Hoe je browsertaken automatiseert, zoals het klikken op links en het invullen van formulieren
• Hoe Python packages beautifulsoup4, pyquery, scrapy en selenium te gebruiken

Deze workshop is voor jou omdat

• Je wilt gegevens extraheren uit een statische of dynamische webpagina (en mogelijk veel websites)
• Je wilt rommelige HTML omzetten naar een gestructureerde dataset voor datavisualisatie of machine learning
• Je wilt een taak automatiseren waarvoor je normaliter moet inloggen, een formulieren moet invullen of bestanden moet downloaden

Programma

• Inleiding tot webscrapen
  • Wat is eigenlijk de uitdaging?
  • HTML-elementen en attributen
  • Statische versus dynamische webpagina’s
  • Werken met Developer Tools in Firefox en Chrome
• Ementen selecteren met CSS-selectors
  • Op basis van typen, klassen en id
  • Op basis van relatie tot anderen elementen
  • Op basis van attributen en pseudo-klassen
• HTTP-basisprincipes
  • De structuur van een GET-verzoek
  • Queryparameters
  • Statuscodes zoals 200, 301 en 404 begrijpen
  • Waarom een POST-verzoek gebruiken?
• Van HTML naar data
  • Gegevenstypen converteren
  • Meerdere elementen extraheren en combineren
  • Tabellen omzetten naar CSV
  • Gepagineerde resultaten doorlopen
  • Werken met slecht opgemaakte HTML
• Geautomatiseerd browsen
  • Op links klikken
  • Formulieren invullen
  • Inloggen
  • Uploaden en downloaden van bestanden
• Dynamische websites
  • Inleiding tot Selenium
  • Headless browsen begrijpen
  • JavaScript scrapen
• Webcrawlen
  • Een crawler opzetten
  • Een enkel domein doorkruisen
  • Crawltaken plannen

Voorkennis

Er wordt van je verwacht dat je enige ervaring hebt met programmeren in Python. Onze workshop Programmeren in Python is een optie die je daarbij kan helpen. Grofweg gesproken, als je bekend bent met de volgende Python-syntaxis en -concepten, komt het goed:

• assignment, arithmetic, boolean expression, tuple unpacking
• bool, int, float, list, tuple, dict, str, type casting
• in operator, indexing, slicing
• if, elif, else, for, while
• range(), len(), zip()
• def, (keyword) arguments, default values
• import, import as, from import ...
• lambda functions, list comprehension
• JupyterLab of Jupyter Notebook

Enige ervaring met HTML en CSS is handig, maar niet vereist.

Voorbereiding

We gaan Python gebruiken samen met JupyterLab en de volgende packages:

• beautifulsoup4
• mechanize
• pyquery
• scrapy, en
• selenium

De aanbevolen manier om alles te installeren is als volgt:

• Download en installeer de Anaconda Distributie
• Voer het commando uit: ! conda install -y -c conda-forge beautifulsoup4 mechanize pyquery scrapy selenium in een Jupyter notebook

Als alternatief, als je Anaconda niet wilt gebruiken, dan kun je alles installeren met pip. Wanneer het uitvoeren van import bs4, mechanize, pyquery, scrapy, selenium geen fouten oplevert, weet je dat je alles correct hebt geinstalleerd.

Daarnaast heb je een recente versie van Firefox of Chrome nodig zodat we HTTP-verzoeken en HTML-elementen kunnen inspecteren.