BABOK, DMBOK и еще 3 профессиональных стандарта для Big Data специалиста

Big Data, Большие данные, обработка данных, управление проектами, бизнес-процессы, цифровизация, цифровая трансформация, архитектура

Мы уже рассказывали про профессиональный стандарт бизнес-аналитика – руководство BABOK и его значимость в области больших данных. Сегодня рассмотрим еще 3 подобных свода знаний, которые полезны для архитектора, разработчика, менеджера, инженера, исследователя и аналитика Big Data: PMBOK, SWEBOK и DMBOK. А также разберем, что такое EABOK и насколько это применимо в Data Governance. Еще раз о том, зачем нужен очередной Body Of Knowledge Практически каждый профессиональный стандарт представляет собой рамочный документ (фреймворк), который регламентирует основные входы, выходы и критерии их оценки, а также инструменты выполнения определенной деятельности. При том, что свод знаний принято называть руководством, он не содержит детального описания процессов решения задач, хотя включает их список и перечень полезных методов, подходов и техник. Поэтому любой Body Of Knowledge (BOK) Далее …

Управление НСИ в эпоху Big Data: какой MDM нужен современному бизнесу

MDM, Master Data Management, Big Data, Большие данные, обработка данных, ETL, бизнес-процессы, люди, Hadoop, Airflow

Управление данными не сводится к выделению роли дата стюарда и обеспечению Data Quality.  Сегодня мы расскажем, что такое мастер-данные, как искусственный интеллект помогает решать проблемы управления НСИ и почему эффективный Master Data Management (MDM) особенно важен в мире Big Data. Что такое мастер-данные или зачем управлять НСИ Начнем с определения: мастер-данные или основные данные – это важнейшая для бизнеса информацией о клиентах, продуктах, услугах, персонале, технологиях, материалах и прочей доменных объектах, которые редко изменяются и не являются транзакционными. В России и СНГ сложилась практика наименования таких данных термином «нормативно-справочная информация» (НСИ) [1]. В данной статье мы будем считать эти понятия синонимами. Классический пример, показывающий необходимость управления НСИ – это кейс с разными названиями одного и того же объекта. Например, сокращенное Далее …

Кто такой Data Steward: как организовать обеспечение Big Data Quality

Big Data, Большие данные, обработка данных, ETL, бизнес-процессы, люди, Data Stewardship, Data Governance, Data Management

Продолжая разговор про качество данных, сегодня мы рассмотрим организационную сторону этого аспекта и расскажем, что такое ответственность за большие данные и чем занимается дата стюард. Читайте в нашей статье про процессы Data Governance и особенности тактического управления данными: зачем нужен Data Steward, какую пользу он приносит бизнесу и сколько ему за это платят. Сложности управления данными или зачем помощники Data Quality инженеру Управление качеством данных не сводится только к обнаружению пропусков, дублей или аномальных значений. Технической стороной этого вопроса обычно занимается инженер по качеству данных (Data Quality Engineer) или тестировщик, однако исходная точка процессов Data Governance лежит в бизнес-плоскости. Управления качеством данных – это сквозной процесс в рамках операционной деятельности всего предприятия. Поэтому, по аналогии с владельцами бизнес-процессов, необходимо выделение Далее …

ETL для пакетов Big Data: 3 примера использования Apache AirFlow

Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, ритейл, обработка данных, NiFi, AirFlow, ETL, Hadoop, Spark, Hive, AirFlow

В этой статье мы поговорим про Apache AirFlow — эффективный инструмент для пакетных ETL-задач при работе с большими данными (Big Data): что это такое, как работает и чем полезен для инженера данных (Data Engineer). Также рассмотрим несколько практических примеров реального использования этой библиотеки для разработки, планирования и мониторинга batch-процессов. Что такое ETL и при чем здесь Apache AirFlow Процессы ETL (Extract, Transform, Load) являются неотъемлемой частью современных систем бизнес-аналитики (BI, Business Intelligence) и используются для интеграции множества корпоративных информационных систем с целью унификации и анализа хранимых в них данных [1]. Можно сказать, что сегодня ETL – это обязательный компонент корпоративной инфраструктуры на базе технологий Big Data, когда исходные («сырые») данные превращаются в информацию, пригодную для бизнес-анализа. ETL включает следующие этапы: Далее …

Красивая Big Data и модный Machine Learning: 15 историй из мира fashion

Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, предиктивная аналитика, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение, ритейл, женщины, 8 марта, мода, косметология, парфюмерия

В честь Международного женского дня, 8 марта, мы собрали для вас 15 интересных кейсов о том, как большие данные (Big Data) и машинное обучение (Machine Learning, ML) используются в индустрии моды и красоты. Читайте в нашей сегодняшней статье как Zara, H&M, Burberry и другие fashion-гиганты внедряют умные примерочные, виртуальных стилистов, прогнозируют модные тенденции с помощью ML-моделей, создают новые коллекции и стимулируют нас к покупкам. Big Data и Machine Learning для модной персонализации Мы уже рассказывали, как технологии больших данных изменили современный маркетинг, сделав его персональным. В мире моды индивидуальное взаимодействие с клиентом особенно ценится. Причем как в случае товаров широкого потребления, так и в luxury-сегменте. Например, в феврале 2017 года шведская компания H&M выпустила линейку одежды «Data Dress» на основе Далее …

3 причины, почему искусственный интеллект не примет за вас решение — по крайней мере, пока

искусственный интеллект, Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, предиктивная аналитика, HR, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение

В продолжение темы, от чего большие данные, машинное обучение и другие методы искусственного интеллекта смогут защитить человечество, сегодня мы поговорим, почему эти технологии не заменят человека везде и полностью. В этой статье мы собрали доводы против абсолютной автоматизации принятия управленческих решений с помощью Big Data и Machine Learning. Когда Big Data, Machine Learning и прочие средства искусственного интеллекта заменят человека и почему это случится далеко не везде Мы уже рассказывали, что наиболее сложный уровень аналитики больших данных – это даже не построение вероятных прогнозов ближайшего или отдаленного будущего, а выработка подробных рекомендаций. Ожидается, что повсеместное внедрение Big Data и Machine Learning в различные прикладные процессы автоматизируют выполнение менеджерских функций, от поддержки управленческих решений, до их полного выполнения. Достичь такого уровня Далее …

5 угроз, от которых искусственный интеллект защитит человечество, провоцируя множество новых

искусственный интеллект, Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, предиктивная аналитика, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение

К 23 февраля мы собрали для вас 5 кейсов, где выступать в роли защитника будет искусственный интеллект. Смертельные болезни, внешние угрозы, преступники, экологические проблемы и чрезмерные траты ресурсов – читайте в нашей сегодняшней статье, как цифровизация на базе больших данных (Big Data) и машинного обучения (Machine Learning, ML) защитит нас от этих опасностей. Спойлер: от этих проблем – защитит отлично, но создаст множество новых. Защита от бактерий, вирусов и болезней: большие данные и машинное обучение в медицине Big Data и Machine Learning уже более 10 лет активно используется в медицине для визуализации данных (чего стоят одни только многочисленные интерактивные карты коронавируса, захватившего мир в 2020 году), в рекомендательных системах по назначению лекарственных препаратов, диагностике заболеваний по рентгеновским снимкам и прочим Далее …

Аналитика больших данных и Machine Learning в образовании: 5 кейсов из ВУЗов

Big data analytics education cases

Чтобы повысить мотивацию студентов к обучению, преподаватели активно применяют различные подходы к организации образовательного процесса, в т.ч. используемые в HR. Сегодня мы покажем, как, по аналогии с управлением человеческими ресурсами, аналитика больших данных (Big Data) и методы машинного обучения (Machine Learning) помогают увеличить вовлеченность учеников и улучшить качество образования. От описаний к предписаниям: 3 примера Big Data аналитики в ВУЗах В 2013 году английский Университет Ноттингем Трент внедрил интерактивную систему дескриптивной аналитики студенческих результатов в виде панели мониторинга, которая показывала данные о вовлеченности студентов в учебный процесс. Дэшборд был разработан с целью снизить показатели отсева студентов, улучшить посещаемость и увеличить чувство принадлежности к университетскому сообществу. На панели, доступной студентам, преподавателям и кураторам (тьюторам), выводятся показатели вовлеченности каждого учащегося в сравнении с его одногруппниками: частота работы с библиотекой, сведения Далее …

Аналитика больших данных и машинное обучение в HR: 5 примеров инсайтов на Big Data

Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, управление проектами, предиктивная аналитика, HR, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение

Вчера мы рассматривали, как аналитика больших данных (Big Data) и машинного обучения (Machine Learning) помогают снизить текучесть кадров и предупредить увольнение ключевых сотрудников. Сегодня поговорим о том, как эти технологии позволяют выявить главные компетенции успешного сотрудника, обнаружить неявную зависимость прибыли компании от вовлеченности персонала, а также получить другие полезные HR-инсайты. Как вовлеченность персонала влияет на инновационность и прибыль компании Best Buy, один из крупнейших ритейлеров США, владеющий крупной сетью магазинов бытовой электроники и сопутствующих товаров, активно использует предиктивную аналитику в управлении персоналом. Внутренние HR-исследования этой компании показали, что увеличение вовлеченности сотрудников всего на 0,1% приводит к росту годового дохода на $100 000. Благодаря этому была пересмотрена периодичность внутреннего аудита: теперь вовлеченность сотрудников оценивают раз каждый квартал, а не раз в Далее …

Как снизить текучку кадров с помощью Big Data и Machine Learning: реальный опыт 5 крупных компаний

Big Data, Большие данные, бизнес-процессы, цифровизация, цифровая трансформация, управление проектами, предиктивная аналитика, HR, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение

Продолжая разговор про цифровизацию HR-процессов, сегодня мы рассмотрим, как технологии больших данных (Big Data) и машинного обучения (Machine Learning) помогают сократить текучку кадров и удержать ключевых работников. Читайте в нашей новой статье 5 успешных примеров применения аналитики Big Data в HR для принятия эффективных управленческих решений. Big Data и Machine Learning против эмоционального выгорания и других причин «внезапного» увольнения Эмоциональное выгорание (однообразность рабочих процессов, потеря мотивации и отсутствие интереса к задачам) входит в ТОП-10 причин увольнения по собственному желанию. Зная о степени подверженности своих сотрудников этой проблеме, а также другим важным факторам (удовлетворенность зарплатой, отношениями с коллективом, условиями труда и пр.) [1], работодатель своевременно может предпринять нужные меры, не допустив ухода нужных работников. Вообще снижение текучести кадров и удержание ключевых Далее …