Spark data visualisation

Руководитель

Антон Ялышев

Продукт

Scala plugin

Город

Санкт-Петербург

Проект

Spark является средством обработки Больших данных. И зачастую инженеру хочется видеть результаты обработки в форме таблиц и графиков. В данный момент IDEA этого делать не умеет, и мы хотим создать такую возможность. Задачи:

  • изучить реализованные решения в др. IDE (PyCharm, DataGrip, R Studio ...) и веб сервисах (DataBriks, Zeppelin ...);
  • разработать варианты решения в IDEA + Scala plugin.
Технологии

Spark, Plotting libraries

Ожидаемый результат

IDEA / Scala plugin предоставляют удобный, интуитивно понятный интерфейс, где пользователь может выбрать какие именно данные он хочет для себя визуализировать (UX: TouchPoints). Вариантов визуализации не много (таблица + 2-3 самых частых вида графиков). Ожидается возможность проводить дополнительные вычислительные операции над отображёнными данными, не из секции кода, а внутри секции графика (см. Apache Zeppelin); возможность соединять два графика в один, при консистентности данных.

Требования

Языки программирования: Java, Scala.

Знания и навыки: functional programming

Реализация