4 простых, но эффективных совета администратору Big Data и не только

Большие данные, Big Data, Agile, DevOps, Hadoop, администрирование

Администратор – обязательная роль в Big Data проекте, даже если он построен по принципу микросервисной архитектуры, когда за создание и развертывание каждого модуля отвечает отдельный DevOps-инженер. Задачи постоянной оценки производительности и поддержки ИТ-инфраструктуры актуальны как для новоявленных стартапов, работающих по современным Agile-принципам, так и для крупного бизнеса (enterprise). В этой статье мы собрали для вас 4 простых, но до сих пор отлично работающих совета для повышения эффективности процессов администрирования ИТ-хозяйства вообще и Big Data в частности.

Следите за новостями

Пригодится все: выпуск программных обновлений, огласка инцидентов о нарушениях информационной безопасности, выявление уязвимостей, выход новых законов, появление технологий, истории успешного старта и грандиозных провалов. Ищите полезную информацию сами, общайтесь с коллегами в форумах и мессенджерах, читайте и смотрите тематические ресурсы, чтобы своевременно защитить свой Hadoop-кластер: предупредить хакерскую атаку, предотвратить утечку данных, а также избежать блокировок Роскомнадзора и многомиллионных штрафов за нарушения GDRP и требований российского законодательства (ФЗ № 242-ФЗ от 21 июля 2014 г., ФЗ № 374-ФЗ и № 375-ФЗ от 6 июля 2016 г.).

программист, сисадмин, системный администратор, ИТ-шник
Всегда быть в курсе последних тенденций — практически должностная обязанность каждого ИТ-специалиста

Используйте готовые решения

Не изобретайте свой велосипед, а смело берите лучшие практики и хорошо зарекомендовавшие себя инструменты. Например, гораздо эффективнее взять уже успешно применяемый во множестве проектов дистрибутив Hadoop от Cloudera, HortonWorks, ArenaData, MapR, другого крупного вендора или кластер облачного провайдера, чем вручную собирать всю экосистему Big Data с нуля, нарабатывая опыт на собственных ошибках, которые могут быть критичны для бизнеса. Такая же рекомендация актуальна для выбора методов работы: заимствуйте лучшие идеи Agile, приемы DevOps и прочие подходы к организации деятельности, адаптируя их к своей специфике и фокусируя внимание на их прикладной пользе. Методологии и технологии – это всего лишь инструменты, чтобы добиться более ценного количественного и качественного результата за меньшие деньги и время.

Администратор Big Data
Администратор Big Data умеет выбрать правильный инструмент и грамотно настроить его к своим задачам

Консультируйте и оптимизируйте

Используя системы мониторинга, наблюдайте за производительностью серверов, выявляя закономерности и аномалии в процессах хранения и обработки больших данных, а также запуска и использования приложений. Обсуждайте с разработчиками и пользователями проблемы Big Data систем и кластеров, учитывая позиции бизнеса и технологии. Не стесняйтесь задавать программистам и DevOps-инженерам вопросы по информационной безопасности, масштабируемости, надежности и интегрируемости развертываемых решений.  Будьте в курсе DataOps-процессов и инструментов. Сотрудничайте с FinOps в поисках оптимальных вариантов использования локальной или облачной инфраструктуры для больших данных. Например, если предложенный вами переход на новое программное решение, cloud-сервис или тарифный план поможет бизнесу сэкономить существенные средства, это, наверняка, выгодно отразится на ваших премиальных.

Agile-проект, команда, IT-team
Навыки командного взаимодействия очень важны для администратора больших данных

Продолжайте узнавать новое

Наконец, самый тривиальный и, пожалуй, самый важный совет, который актуален для любой сферы деятельности, в особенности для ИТ: постоянно повышайте свой профессиональный уровень. Ищите информацию в сети (тематические форумы, блоги, ролики, каналы), читайте специализированные книги и журналы, в т.ч. на иностранных языках, посещайте IT-конференции, участвуйте в семинарах и тренингах. В частности, наш учебный центр «Школа больших данных» предлагает целый ряд практических курсов обучения для администраторов Big Data в Москве:

INTR: Основы Hadoop

SPARK: Администратор кластера Apache Spark

HADM: Администрирование кластера Hadoop

SPARK2: Анализ данных с Apache Spark

DSEC: Безопасность озера данных Hadoop

NIFIКластер Apache NiFi

HDDE: Hadoop для инженеров данных

KAFKAKafka кластер администратор

HBASE: Администрирование кластера HBase

HIVEHadoop SQL администратор Hive

 

расписание компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Смотреть расписание занятий
регистрация на компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Зарегистрироваться на курс