Все для дата-инженера в одном месте: Big Data Tools for IntelliJ Big data
Проработал много лет в области анализа данных и дата-инженерии, сейчас team lead в Big Data Tools — новом инструменте для анализа больших данных от JetBrains.
В какой-то момент мы поняли, что дата-инженеры используют очень много инструментов и вынуждены постоянно переключаться между средой разработки, терминалом и парой десятков вкладок в браузере. Тогда мы подумали, что можем здорово облегчить им жизнь, если попробуем собрать все самые необходимые инструменты в одном месте.
В докладе я расскажу, как мы это делали, с какими проблемами столкнулись и, конечно, покажу, что же из этого вышло. Вы увидите, как делать exploratory data analysis и визуализацию в Zeppelin прямо из IDEA, как мониторить задания и работать с удаленной файловой системой прямо из вашей любимой среды разработки.