Все для дата-инженера в одном месте: Big Data Tools for IntelliJ Big data

Доклад принят в программу конференции
Виталий Худобахшов
JetBrains

Проработал много лет в области анализа данных и дата-инженерии, сейчас team lead в Big Data Tools - новом инструменте для анализа больших данных от JetBrains.

Тезисы

В какой-то момент мы поняли, что дата-инженеры используют очень много инструментов и вынуждены постоянно переключаться между средой разработки, терминалом и парой десятков вкладок в браузере. Тогда мы подумали, что можем здорово облегчить им жизнь, если попробуем собрать все самые необходимые инструменты в одном месте.

В докладе я расскажу, как мы это делали, с какими проблемами столкнулись и, конечно, покажу, что же из этого вышло. Вы увидите, как делать exploratory data analysis и визуализацию в Zeppelin прямо из IDEA, как мониторить задания и работать с удаленной файловой системой прямо из вашей любимой среды разработки.

Scala
,
Hadoop
,
Machine Learning
,
ETL