Метка: управление

А можно дешевле: снижаем стоимость аналитики Big Data в приложениях Apache Spark

Анна Вичугова
обучение Apache Spark, курсы Apache Spark, курсы Big Data, обучение Большие данные, курсы Spark для разработчиков Big Data, обучение Spark, обучение инженеров данных, курсы дата-инженер, Apache Spark для разработчиков и инженеров данных

Вчера мы говорили про ускорение аналитики больших данных в конвейере из множества заданий Apache Spark. Продолжая речь про обучение инженеров данных, сегодня рассмотрим, как снизить стоимость выполнения Spark-приложений, сократив накладные расходы на обработку Big Data и повысив эффективность использования кластерной инфраструктуры. Экономика Big Data систем: распределенная разработка и операционные затраты Организация эффективных с экономической точки зрения конвейеров обработки данных (data pipeline) лежит в сфере ответственности инженера Big Data. Однако, на практике не так-то просто объективно оценить адекватность использования вычислительных ресурсов для распределенных приложений. В случае Apache Spark это особенно актуально, т.к. этот Big Data фреймворк упрощает обработку огромных объемов информации, скрывая внутри себя сложность распределенных вычислений и позволяя разработчику оперировать распределенным набором данных как коллекцией объектов в локальной памяти. При Далее …

7 этических проблем отечественной цифровизации и пути их решения

Анна Вичугова
цифровизация, цифровая трансформация, цифровая экономика, управление, утечки данных, Security, защита информации, Big Data, Machine Learning, искусственный интеллект, большие данные, безопасность, Большие данные, предиктивная аналитика

Вчера мы говорили о том, какие организационные барьеры мешают реализации запланированных проектов национальной программы «Цифровая экономика РФ». Сегодня рассмотрим основные этические риски, которые сдерживают развитие цифровой трансформации в России и разберем некоторые возможности их обхода. Чем страшна цифровизация: 7 ключевых проблем с точки зрения этики 16 января 2020 года Центр подготовки руководителей цифровой трансформации на базе Высшей школы государственного управления РАНХиГС совместно с ВШЭ представил доклад о главных этических проблемах и рисках внедрения цифровых технологий в России цифровыми технологии. Ключевыми проблемами работы с большими данными, методами искусственного интеллекта (ИИ) и интернетом вещей эксперты назвали следующие [1]: инфляция приватных данных, когда бизнес и государство собирает все больше данных о своих пользователях (гражданах) за тот же объем предоставляемых услуг. К примеру, обязательная регистрация на сайтах Далее …

Простые данные о больших числах или как реализуется нацпрограмма «Цифровая экономика РФ»: успехи, провалы и бюджеты

Анна Вичугова
цифровизация, цифровая трансформация, цифровая экономика, управление

Продолжая разговор про развитие отечественной цифровизации с учетом Указа Президента «О национальных целях развития Российской Федерации на период до 2030 года», который вышел 21 июля 2020 года, сегодня мы рассмотрим, насколько хорошо реализуются проекты национальной программы «Цифровая экономика РФ», и какие факторы этому препятствуют. Темпы реализации нацпрограммы «Цифровая экономика РФ» Напомним, национальная программа «Цифровая экономика Российской Федерации», паспорт которой утвержден 24 декабря 2018 года, включает 6 федеральных проектов [1]: Нормативное регулирование цифровой среды; Информационная инфраструктура; Кадры для цифровой экономики; Информационная безопасность; Цифровые технологии; Цифровое государственное управление. Все эти проекты реализуются с разной степенью успешности. Например, в мае 2020 года стало известно, что мероприятия по развитию сетей связи 5G, созданию единой государственной облачной платформы, типового автоматизированного рабочего места госслужащего, венчурного фонда Далее …

Цифровая экономика 2030: что нового в июльском Указе Президента РФ

Анна Вичугова
цифровизация, цифровая трансформация

Сегодня рассмотрим перспективы отечественной цифровизации в контексте Указа Президента «О национальных целях развития Российской Федерации на период до 2030 года», который вышел 21 июля 2020 года. Читайте в нашей статье, чем это документ дополняет цели и показатели национальной программы «Цифровая экономика Российской Федерации», изложенные в аналогичном майском Указе от 07.05.2018, а также в чем проблема с реализацией национальных целей в области сквозных цифровых технологий по мнению Дмитрия Пескова. Что сказано в июльском Указе: развитие цифровизации до 2030 года 21 июля 2020 года Президент подписал Указ «О национальных целях развития Российской Федерации на период до 2030 г.», который определяет стратегические направления развития страны, ориентированные на увеличения численности населения и повышения уровня жизни граждан. Из 5 заявленных в этом Указе национальных целей с точки зрения ИТ нам Далее …

Зачем руководителю обучение Big Data: 4 причины пойти на курсы аналитики больших данных

Анна Вичугова
обучение руководителей, курсы по Big Data, аналитика больших данных для менеджеров, Big Data, Большие данные, интернет вещей, Internet of Things, IoT, IIoT, Machine Learning, машинное обучение, цифровизация, цифровая трансформация

В этом материале рассмотрим, для чего современному менеджеру нужно обучение технологиям Big Data, когда стоит строить собственное Data Lake, чем цифровизация отличается от автоматизации, а также почему курс Аналитика больших данных для руководителей – это эффективная инвестиция в будущее вашего бизнеса. Почему вам нужна аналитика больших данных: мотивация эффективного обучения Итак, для чего вообще и насколько глубоко руководителю следует разбираться в современных информационных технологиях? Почему менеджер должен тратить свое время на изучение больших данных вместо непосредственного выполнения своих прямых обязанностей? Разве не более эффективно поручить всю эту Big Data программистам, администраторам, аналитикам и прочим техническим специалистам, чтобы уделить еще больше внимания управлению бизнесом, увеличивая прибыль и сокращая затраты? Как ни странно, нет. В сегодняшнем цифровом мире именно руководитель, в первую Далее …

Цифровая корпорация 21-го века: что такое Data-Driven Company

Анна Вичугова
Data-Driven Company, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, предиктивная аналитика, цифровизация, цифровая трансформация, Big Data, Большие данные

В результате цифровой трансформации «традиционного предприятия» должна получиться идеальная организация, работающая на основе данных, в т.ч. больших (Big Data). Сегодня мы поговорим, что такое Data—Driven Company, чем она отличается и как ей стать: читайте в нашей статье, какие инструменты Big Data, методы Agile и инженерные подходы системного анализа применяются для «тотальной цифровизации», повышения эффективности труда и использования данных. Что такое Data—Driven Company (DDC) Data—Driven Company – это предприятие, гибкое управляемое данными – дата-ориентированная Agile-компания, бизнес-процессы и организационная структура которой построены на основе сквозной интеграции информационных потоков и их непрерывной, в т.ч. прогнозной предиктивной, аналитике. При этом цепочка создания ценности (основного продукта) выглядит следующим образом [1]: большие данные о рабочих процессах и продуктах, текущем и прогнозном состояниях внешней среды, настоящих и Далее …

NoOps: DevOps умер, да здравствует девопс! Новый Agile в облаках

Анна Вичугова
NoOps, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Продолжая тему развития Agile, сегодня мы расскажем о новом видении DevOps, предполагающем полный отказ от девопс-инженеров при сохранении всех принципов этого похода. Читайте в нашей статье, что такое NoOps и как эта концепция реализуется в мире Big Data. 5 разных мнений о DevOps Хотя термину «DevOps» уже исполнилось более 10 лет, а самому понятию – и того больше, до сих пор существует 5 совершенно разных точек зрения на счет практического использования этого подхода: DevOps – это стильно, модно, молодежно и нужно срочно внедрять, даже если в нем пока нет большой потребности или не позволяют возможности. Как поступать в таком случае, мы рассказывали в этой статье. DevOps – это просто раскрученный маркетинговый ход, всю работу дорогостоящего DevOps-инженера может сделать «продвинутый» системный Далее …

Чем DevOps-инженер отличается от администратора Big Data и сисадмина

Анна Вичугова
Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Несмотря на почти 20-летнюю историю термина «DevOps», даже в ИТ-среде до сих пор есть мнение, что все рабочие задачи этого девопс-инженера может выполнить рядовой системный администратор. Почему это не так и как обстоят дела с администрированием Big Data систем, читайте в нашей сегодняшней статье. Критерии и источники данных для сравнения Проанализировав описание вакансий на популярных рекрутинговых площадках (HeadHunter, Мой круг), мы составили список наиболее востребованных технологий для сисадмина, администратора Big Data и DevOps-инженера и отобрали следующие критерии сравнения этих специалистов: Главная цель и основные рабочие задачи; Время ключевые факторы возникновения профессии; Объекты работы; Необходимые компетенции (средства, инструменты и техники); Взаимодействие с другими участниками процессов разработки и эксплуатации ИТ; Заработная плата. По результатам этого сравнения сделаны выводы о наиболее часто встречающейся Далее …

Как измерить эксплуатационную надежность Big Data и зачем это нужно

Анна Вичугова
SLA, SLI, SLO, RPO, RTO

Рассматривая облачные сервисы для Big Data проектов, мы уже говорили про SLA (Service Level Agreement, соглашение об уровне предоставления услуг) и упоминали показатели измерения эксплуатационной надежности в материале про эволюцию Agile-подходов. Читайте в нашей сегодняшней статье, как эти SRE-метрики помогают DevOps-инженерам и администраторам обосновать экономическую необходимость затрат на средства дополнительной защиты Big Data систем от сбоев и когда такие инвестиции выгодны бизнесу. Зачем SLA мерит доступность Big Data системы и как это связано с SRE, DevOps и клиентами Как правило, для Big Data характерна высокая или постоянная доступность, а также непрерывный режим работы – это значит, что система защищена, а также легко, быстро с использованием автоматизированных средств восстанавливается от небольших простоев [1]. Именно доступность считается главным показателем качества. Поэтому большинство облачных провайдеров Далее …

Большая надежность для Big Data: эволюция Agile – SRE после DevOps

Анна Вичугова
Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, SRE

Большие данные требуют огромной гибкости и большой надежности – сегодня мы расскажем, что кто обеспечивает бесперебойную работу Google и других ИТ-гигантов и что нас ждет после DevOps. Читайте в нашей новой статье, как развиваются Agile-подходы к организации процессов разработки и эксплуатации Big Data систем и сколько это стоит. Что такое SRE и зачем это нужно Big Data Big Data системы функционируют в условиях повышенной нагрузки: постоянно увеличивающиеся потоки данных из множества разных источников хранятся и обрабатываются на распределенных серверах одного или нескольких кластеров. Благодаря механизму репликации, который поддерживает наиболее распространенная файловая система больших данных, HDFS, выход некоторых узлов из строя в большинстве случаев не приведет к полной потере информации. Однако, даже временный отказ или замедление работы приложения может быть катастрофичным Далее …