В лекции будет представлен обзор различных технологий, используемых в обработке больших данных, включая SQL и NoSQL базы данных, фреймворк Apache Spark, платформу Apache Pig. Также будут рассмотрены проблемы, связанные с управлением большими массивами данных, и способы их оптимального использования для достижения максимальной эффективности.

Будет представлена концепции работы с большими данными и актуальность Big Data в современном мире. Речь пойдет о различных технологиях, используемых в профессии инженера больших данных. Будут рассмотрены проблемы, связанные с управлением большими массивами данных, вопросы масштабируемости, безопасности и стоимости, освещены последние тенденции в области инженерии больших данных (например, платформы облачных вычислений и инструменты аналитики в реальном времени).

Эта лекция направлена дать общий обзор мира инженерии больших данных и обработки данных.