Apache Spark

Apache Spark

Développez en Python pour le big data

Ce livre sur le framework Apache Spark vous permet d'apprendre à développer des applications en Python en vous appuyant sur l'analyse et le traitement de données volumineuses ainsi que sur la notion d'apprentissage automatique.

Après quelques définitions de termes liés au domaine de la data, vous découvrez les fondements de Spark. Vous appréhendez l'architecture logicielle du framework, ses composants et les différents langages avec lesquels il est possible de développer.

Vous entrez ensuite concrètement dans la transformation de données. Fonctions numériques, alphanumériques, ajouts d'information, suppressions, agrégations de premier ordre et plus complexes sont à l'honneur. Des fonctionnalités plus avancées telles que les fonctions de fenêtrage et celles définies par les utilisateurs sont étudiées et les nombreuses API de Spark parcourues, tout en étant illustrées par des exemples.

Dans la suite du livre, l'auteur dévoile l'apprentissage machine. Apprentissage supervisé, non supervisé, profond et moteurs de recommandation sont autant de concepts détaillés. Vous découvrez les différents algorithmes présents dans Spark, les manières de préparer des données à l'entraînement ainsi que les possibilités d'évaluation d'un système prédictif au travers de plusieurs mises en pratique. Les notions d'arbres de décision, de forêts aléatoires, de réseaux de neurones, de régressions linéaires et de factorisation de matrices vous sont expliquées ainsi que le traitement des informations numériques et la vectorisation de textes.

Pour finir, un chapitre met en avant l'industrialisation de Spark. Déployer, déboguer et tester son application ainsi que les subtilités de l'outil pour assurer une performance optimale sont autant d'éléments cruciaux détaillés.

Si les exemples de code du livre sont en Python, langage aujourd'hui le plus utilisé avec Spark, certains sont en Scala, API la plus aboutie, pour vous apporter une vision complète du framework.