Метка: карьера

Кто такой Big Data Administrator: профессиональные компетенции администратора больших данных

Анна Вичугова
администрирование, администратор, большие данные, administrator big data

В прошлых выпусках мы рассмотрели, чем занимаются аналитик (Data Analyst), исследователь (Data Scientist) и инженер больших данных (Data Engineer). Завершая цикл статей о самых популярных профессиях Big Data, поговорим об администраторе больших данных – его рабочих обязанностях, профессиональных компетенциях, зарплате и отличиях от других специалистов. Итак, в сегодняшней статье – Administrator Big Data «для чайников». Что делает администратор Big Data Администратор больших данных занимается созданием и поддержкой кластерных решений (в том числе облачных платформ на базе Apache Hadoop), включая: установку и развертывание кластера; выбор начальной конфигурации; оптимизацию узлов на уровне ядра; управление обновлениями и создание локальных репозиториев; настройку репликаций, аутентификаций и средств управления очередями; обеспечение информационной безопасности кластеров; мониторинг производительности и балансировка нагрузки на серверы; обеспечение информационной безопасности кластеров и Далее …

Кто такой Data Engineer в Big Data: профессиональные компетенции инженера данных

Анна Вичугова
Data Engineer, инженер данных, инженер Big Data

Мы уже рассказывали о некоторых профессиях Big Data, например, объясняли «для чайников», кто такие аналитик (Data Analyst) и исследователь (Data Scientist): что каждый из них должен знать и уметь, чем они занимаются и как отличаются друг от друга. Сегодня поговорим об инженере данных (Data Engineer) – его рабочих обязанностях, профессиональных компетенциях, зарплате и отличиях от вышеуказанных специалистов. Что делает инженер данных Чтобы Data Analyst и Data Scientist могли извлекать из информационных потоков и массивов Big Data знания, полезные для бизнеса, все эти большие данные должны соответствующим образом собираться и храниться. Именно этим занимается Data Engineer: настраивает инфраструктуру для Big Data, корпоративных хранилищ информации, ETL-систем, внутренних баз данных и сторонних источников (почта, CRM-, ERP- и других прикладных систем). Таким образом, инженер Далее …

Кто такой Data Scientist в Big Data: профессиональные компетенции исследователя данных

Анна Вичугова
Big Data, Большие данные, профессия, карьера, цифровизация, цифровая трансформация, предиктивная аналитика, машинное обучение, Machine Learning

В этом выпуске мы продолжаем введение в Data Science для чайников, разбирая профессии Big Data, и рассказываем, кто такой Data Scientist: что необходимо знать ученому по данным и чем исследователь отличается от аналитика. Что делает ученый по данным Как и Data Analyst, исследователь данных тоже работает с информационными массивами путем выполнения следующих операций: поиск закономерностей в информационных наборах; подготовка данных к моделированию (выборка, очистка, генерация признаков, интеграция, форматирование); моделирование и визуализация данных; разработка и тестирование гипотез по улучшению бизнес-метрик через построение моделей машинного обучения (Machine Learning). Data Scientist, в большинстве случаев, ориентирован на предиктивную аналитику, тогда как аналитик данных чаще всего рассматривает информацию пост-фактум. Тем не менее, основная цель исследователя данных созвучна главной рабочей цели аналитика Big Data – извлечение Далее …

Кто такой Data Analyst в Big Data: что нужно знать аналитику данных

Анна Вичугова
Big Data, Большие данные, профессия, карьера, цифровизация, цифровая трансформация, предиктивная аналитика, машинное обучение, Machine Learning

Продолжая разговор про то, с чего начать вход в большие данные, и какие бывают ИТ-специальности, сегодня мы расскажем, чем именно занимается аналитик Big Data, что он должен знать и уметь, а также где и как получить необходимые профессиональные компетенции. Что делает аналитик данных Как правило, Data Analyst работает с информационными массивами, самостоятельно выполняя при этом целый набор операций: сбор данных; подготовка данных к анализу (выборка, очистка, сортировка); поиск закономерностей в информационных наборах; визуализация данных для быстрого понимания имеющихся результатов и будущих тенденций; формулирование гипотез по улучшению конкретных бизнес-метрик за счет изменения других показателей. Все эти задачи необходимы для достижения главной цели аналитика данных – извлечение из массивов информации сведений, ценных бизнесу для принятия оптимальных управленческих решений. В некоторых компаниях в Далее …

Я в Big Data пойду – пусть меня научат: большие данные — с чего начать

Анна Вичугова
Big Data, Большие данные, профессия, карьера, цифровизация, цифровая трансформация, интернет вещей, IoT, Internet of Things, машинное обучение, Machine Learning

Этой статьей мы продолжаем серию материалов по ИТ-специальностям мира больших данных и начинаем описывать профессиональные компетенции в области Big Data и машинного обучения (Machine Learning). Ищите в сегодняшнем выпуске ответ на главный вопрос новичка Big Data – с чего начать, что нужно знать и уметь, а также где этому учиться – ликбез для чайников и начинающих. Профессиональные направления в мире Big Data Под термином «большие данные» скрывается множество понятий: от непосредственно самих информационных массивов до технологий по их сбору, обработке, анализу и хранению. Поэтому, прежде чем пытаться объять необъятное в стремлении изучить все, что относится к Big Data, выделим в этой области знаний следующие направления: аналитика – формулирование гипотез, визуализация информации, поиск закономерностей в наборе данных (датасете), подготовка информации к Далее …

Чем DevOps-инженер отличается от администратора Big Data и сисадмина

Анна Вичугова
Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Несмотря на почти 20-летнюю историю термина «DevOps», даже в ИТ-среде до сих пор есть мнение, что все рабочие задачи этого девопс-инженера может выполнить рядовой системный администратор. Почему это не так и как обстоят дела с администрированием Big Data систем, читайте в нашей сегодняшней статье. Критерии и источники данных для сравнения Проанализировав описание вакансий на популярных рекрутинговых площадках (HeadHunter, Мой круг), мы составили список наиболее востребованных технологий для сисадмина, администратора Big Data и DevOps-инженера и отобрали следующие критерии сравнения этих специалистов: Главная цель и основные рабочие задачи; Время ключевые факторы возникновения профессии; Объекты работы; Необходимые компетенции (средства, инструменты и техники); Взаимодействие с другими участниками процессов разработки и эксплуатации ИТ; Заработная плата. По результатам этого сравнения сделаны выводы о наиболее часто встречающейся Далее …

Большая надежность для Big Data: эволюция Agile – SRE после DevOps

Анна Вичугова
Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, SRE

Большие данные требуют огромной гибкости и большой надежности – сегодня мы расскажем, что кто обеспечивает бесперебойную работу Google и других ИТ-гигантов и что нас ждет после DevOps. Читайте в нашей новой статье, как развиваются Agile-подходы к организации процессов разработки и эксплуатации Big Data систем и сколько это стоит. Что такое SRE и зачем это нужно Big Data Big Data системы функционируют в условиях повышенной нагрузки: постоянно увеличивающиеся потоки данных из множества разных источников хранятся и обрабатываются на распределенных серверах одного или нескольких кластеров. Благодаря механизму репликации, который поддерживает наиболее распространенная файловая система больших данных, HDFS, выход некоторых узлов из строя в большинстве случаев не приведет к полной потере информации. Однако, даже временный отказ или замедление работы приложения может быть катастрофичным Далее …

Who is who в Agile-команде Big Data: разбор ролей Data Professional’ов

Анна Вичугова
Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы, менеджмент, управление проектами

Ранее мы уже писали про DataOps- и DevOps-инженеров, а также про администраторов больших данных. Продолжая тему гибкого управления проектами (Agile) для повышения эффективности и ускорения бизнес-процессов, сегодня поговорим о том, какие еще специалисты нужны для успешного Big Data проекта. Профильные категории и процессы Big Data проекта Независимо от конечной цели и особенностей реализации, в команде любого проекта по большим данным выполняются все процессы по стандарту CRISP-DM, от формирования бизнес-требований до внедрения программного решения на основе разработанных аналитических моделей, в т.ч. с использованием машинного обучения (Machine Learning). Сгруппировав этапы разработки ПО со стадиями CRISP-DM, можно выделить 4 профильных категории Big Data проекта, в которых задействованы различные специалисты: Бизнес, куда входят специалисты предметной области (эксперты, потенциальные пользователи), посредники между проблемами и техническими Далее …

Битва инженеров Big Data: DataOps vs DevOps – кто за что отвечает

Анна Вичугова
Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы

Мы уже писали о происхождении термина DataOps, а также про методы и средства реализации этой концепции непрерывной интеграции данных между процессами, командами и системами в рамках data-driven company. Продолжая тему развития Agile-подходов в мире больших данных, сегодня рассмотрим, чем отличаются сферы ответственности DataOps- и DevOps-инженеров и почему оба этих специалиста должны присутствовать в Big Data команде. Чем схожи DataOps и DevOps: 5 общих фактов На основе происхождения и целевой направленности этих понятий, можно выявить несколько характеристик, которые их объединяют: Сокращение сроков разработки и поставки готового продукта (программного приложения или актуальных данных) за счет принципов Agile, в частности, гибкости и самоорганизации; Непрерывность процессов интеграции (Continuous Integration) и развертывания (Continuous Deployment); Автоматизация процессов тестирования, развертывания и мониторинга с помощью технологий контейнеризации и Далее …

4 простых, но эффективных совета администратору Big Data и не только

Анна Вичугова
Большие данные, Big Data, Agile, DevOps, Hadoop, администрирование

Администратор – обязательная роль в Big Data проекте, даже если он построен по принципу микросервисной архитектуры, когда за создание и развертывание каждого модуля отвечает отдельный DevOps-инженер. Задачи постоянной оценки производительности и поддержки ИТ-инфраструктуры актуальны как для новоявленных стартапов, работающих по современным Agile-принципам, так и для крупного бизнеса (enterprise). В этой статье мы собрали для вас 4 простых, но до сих пор отлично работающих совета для повышения эффективности процессов администрирования ИТ-хозяйства вообще и Big Data в частности. Следите за новостями Пригодится все: выпуск программных обновлений, огласка инцидентов о нарушениях информационной безопасности, выявление уязвимостей, выход новых законов, появление технологий, истории успешного старта и грандиозных провалов. Ищите полезную информацию сами, общайтесь с коллегами в форумах и мессенджерах, читайте и смотрите тематические ресурсы, чтобы Далее …