Data Science met Python en Spark

Apache Spark is een open source gedistribueerde engine voor het opvragen en verwerken van data. In deze driedaagse hands-on workshop leer je hoe je Spark vanuit Python (PySpark) kunt gebruiken om grote hoeveelheden data te verwerken.

Na een overzicht van de Spark architectuur, beginnen we met het manipuleren van Resilient Distributed Datasets (RDD’s) om vervolgens de overstap te maken naar Spark DataFrames. Het concept van lazy evaluation wordt in detail besproken en we demonstreren verschillende transformaties en acties die specifiek zijn voor RDD’s en DataFrames. Je leert hoe DataFrames kunnen worden gemanipuleerd met behulp van SQL query’s.

We laten je zien hoe je supervised machine learning algoritmen toepast, zoals lineaire regressie, logistische regressie, beslisbomen en random forests. Je leert ook over unsupervised machine learning algoritmen zoals PCA en K-means clustering.

Aan het einde van deze workshop heb je een goed begrip van het verwerken van data met PySpark en begrijp je hoe je Spark’s machine learning-bibliotheek kunt gebruiken om verschillende machine learning-modellen te bouwen.

Leerdoelen

• Leer over Apache Spark, de architectuur en zijn componenten
• Werken met RDD’s en lazy evaluation
• Maak en interacteer met Spark DataFrames middels Spark SQL
• Gebruik Spark SQL en DataFrames om gegevens te verwerken met behulp van traditionele SQL-query’s
• Pas verschillende supervised en unsupervised machine learning agoritmen toe
• Leer meer over feature engineering, klassenonbalans, bias en variance, en kruisvalidatie voor het bouwen van een machine learning model

Deze workshop is voor jou omdat

• Je werkt regelmatig met data en wilt de hoeveelheid verwerkte data kunnen opschalen
• Je wilt de methoden begrijpen die specifiek zijn voor Spark voor het manipuleren van data
• Je wilt leren hoe je machine learning algoritmen kunt toepassen op grote hoeveelheden data

Programma

Dag 1:

• Inleiding tot Apache Spark
  • Spark installeren
  • Spark fundamentals
  • Spark architectuur
• Gedistribueerde datasets (RDD’s)
  • Gegevens in Spark krijgen
  • Acties
  • Transformaties

Dag 2:

• Spark DataFrames
  • Spark versnellen met DataFrames
  • DataFrames maken
  • Samenwerking met RDD’s
  • Werken met de DataFrame API
  • SQL toepassen op Spark DataFrames

Dag 3:

• ML- en MLLib-pakketten
  • API-overzicht
  • Transformatoren
  • Voorspellers
  • Pijpleidingen
• Machine learning toepassen
  • Modelselectie
  • Kruisvalidatie
  • Afstemmen
  • Classificatie
  • Regressie
  • Aanbevelingssysteem
• Volgende stappen

Voorkennis

Er wordt verwacht dat je bekend bent met de volgende Python-syntaxis en -concepten:

• assignment, arithmetic, boolean expression, tuple unpacking
• bool, int, float, list, tuple, dict, str, type casting
• in operator, indexing, slicing
• if, elif, else, for, while
• range(), len(), zip()
• def, (keyword) arguments, default values
• import, import as, from import ...
• lambda functions, list comprehension
• JupyterLab of Jupyter Notebook

Enige ervaring met Pandas en SQL is handig, maar niet vereist.

Voorbereiding

Deelnemers wordt vriendelijk verzocht om voor aanvang van de workshop de volgende zaken te installeren:

• Docker Desktop voor Windows of [voor Mac](https://docs.docker.com/docker-for-mac/install /) of voor Ubuntu
• De Docker image, door uit te voeren: docker pull jupyter/pyspark-notebook

Na aanmelding ontvangt je per e-mail meer gedetailleerde installatie-instructies.