Spark в действии: С примерами на Java, Python и Scala (Перрен Ж. -Ж.) 2021

Автор: Перрен Ж. -Ж.

Анализ корпоративных данных начинается с чтения, фильтрации и объединения файлов и потоков из многих источников. Механизм обработки данных Spark способен обрабатывать эти разнообразные объемы информации как признанный лидер в этой области, обеспечивая в 100 раз большую скорость, чем например Hadoop. Благодаря поддержке SQL, интуитивно понятному интерфейсу и простому и ясному многоязыковому API вы можете использовать Spark без глубокого изучения новой сложной экосистемы. Эта книга научит вас создавать полноценные и завершенные аналитические приложения. В качестве примера используется полный конвейер обработки данных, поступающих со спутников NASA.

Для чтения этой книги не требуется какой-либо предварительный опыт работы со Spark, Scala или Hadoop.

Темы, затрагиваемые в книге:

• создание приложений Spark на языке Java;

• архитектура приложений Spark;

• потребление данных из файлов, баз данных, потоков и Elasticsearch;

• выполнение запросов к распределенным наборам данных с использованием Spark SQL.