Как Apache Kafka используется в реальном производстве: пример Северстали

Big Data, Большие данные, Kafka, архитектура, Docker, Kubernetes, Hadoop, цифровизация, цифровая трансформация, IIoT, IoT, интернет вещей, промышленность

Рассматривать обучение Кафка интереснее на практических примерах. Сегодня мы расскажем, как Apache Kafka применяется в одной из крупнейших промышленных компаний России — ПАО «Северсталь». Эта статья написана на основе выступления Доната Фетисова, главного архитектора «Северсталь Диджитал». Доклад был представлен 7 декабря 2019 года на очередном ИТ-митапе компании Авито по Big Data системам и микросервисам, «Backend United #5: Шаурма». Цифровизация, АСУТП, IIoT, Big Data и другие ИТ-вызовы современного завода Начнем с того, что ПАО «Северсталь» — это настоящий промышленный гигант, одна из ведущих вертикально-интегрированных горнодобывающих и сталелитейных компаний в мире. Основные активы предприятия сосредоточены в России, а также   на Украине, в Латвии, Польше, Италии и Либерии. Организация производит высококачественный металлопрокат и стальные трубы для строительства, машиностроения, автомобильной и нефтегазовой отраслей. Далее …

Корпоративное обучение Big Data vs индивидуальные курсы: 4 ключевых отличия

обучение Big Data, курсы по большим данным, тренинги большие данные для руководителей

Сегодня рассмотрим, чем корпоративное обучение большим данным (Big Data) отличается от индивидуального. Читайте в нашей статье, почему образовательные курсы по Apache Kafka, Hadoop, Spark и другим технологиям Big Data сплотят ваших сотрудников лучше любого тимбилдинга и как повысить эффективность такого обучающего тренинга. Почему корпоративное обучение Big Data эффективнее индивидуальных курсов: взгляд изнутри Проанализировав многолетний опыт нашего учебного центра повышения квалификации и подготовки ИТ-специалистов по большим данным, мы выделили основные факторы, которые отличают корпоративные курсы от индивидуального обучения: отраслевая специфика, когда материал подается для всей группы слушателей в контексте его бизнес-применения в данной предметной области. Например, для сотрудников нефтегазового сектора преподаватели «Школы Больших Данных» подбирают примеры Big Data и IoT/IIoT-решений, используемых в реальных отечественных и зарубежных организациях, которые добывают, обрабатывают и Далее …

Кому и когда нужны курсы по Kafka и другим технологиям Big Data: 5 реальных кейсов

Big Data, Большие данные, Kafka, интернет вещей, Internet of Things, IoT, IIoT, DevOps, Spark, Hadoop, Machine Learning, машинное обучение, цифровизация, цифровая трансформация

Продолжая разговор о том, как выбрать курсы по Kafka и другим технологиям больших данных (Big Data), сегодня рассмотрим, кому и в каких случаях нужно такое повышение квалификации. В этой статье мы собрали для вас 5 прикладных кейсов по Кафка для ИТ-профессионалов разных специальностей, от системного администратора до Data Engineer’а. А о том, почему корпоративное обучение большим данным эффективнее индивидуальных курсов, мы рассказываем здесь. Что такое Apache Kafka и зачем она нужна в Big Data Напомним, что такое Кафка и какова роль этой технологии в общем ландшафте Big Data решений. Apache Kafka – это реплицированный журнал сообщений в виде распределённой, горизонтально масштабируемой Big Data системы. Она используется для централизованного сбора, передачи и непрерывной потоковой обработки большого количества сообщений из различных источников: Далее …

Что такое CATWOE и как это использовать для цифровизации и других Big Data проектов

Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, RFID, IIoT, IoT, Internet of Things, интернет вещей

Сегодня мы поговорим о том, что такое CATWOE и зачем эта техника бизнес-анализа нужна руководителю. Также рассмотрим практическое применение этого метода на примере реального бизнес-кейса по цифровизации крупного предприятия и внедрения Big Data системы промышленного интернета вещей (Industrial Internet of Things, IIoT) в виде RFID-технологий. Как сэкономить время на бизнес-анализ проекта и не пожалеть: готовые техники Каждый ИТ-проект, будь то комплексная цифровизация предприятия или программное решение на базе Big Data, Internet of Things, Machine Learning и других технологий Industry 4.0, начинается с этапа анализа. При этом нужно точно определить цели и ожидаемые результаты проекта, поставить задачи и описать требования к проектируемой системе. Каждая предметная область предлагает свой подход для четкого выполнения этих работ. Например, в менеджменте широко распространен 4-шаговый управленческий Далее …

Биометрия, GDPR, 152-ФЗ и все-все-все: как и зачем Big Data с Machine Learning сканируют наши лица и отпечатки пальцев

Big Data, Большие данные, предиктивная аналитика, защита информации, безопасность, Security, бизнес-процессы, цифровизация, цифровая трансформация, Internet of Things, IIoT, IoT, Machine Learning, машинное обучение

Продолжая тему Cybersecurity, сегодня мы поговорим про биометрические системы: что это такое, как они работают и чем нарушают требования GDPR и № 152-ФЗ. Также в этом материале мы собрали для вас примеры таких наиболее известных проектов на базе технологий Big Data и Machine Learning. Что такое биометрические персональные данные и системы биометрии В России понятие личной биометрической информации определено в федеральном законе 152-ФЗ «О персональных данных». Биометрические персональные данные (БПД) – это сведения о физиологических и биологических особенности человека, на основании которых можно установить его личность. Принято выделять физиологические (отпечатки пальцев, рисунок вен, ДНК, сетчатка глаза, лицо, голос) и поведенческие (походка, речь) биометрические данных. Считается, что эти характеристики уникальны для каждого человека. Поэтому их можно использовать в качестве идентификаторов в Далее …

Реальная цифровизация: 7 примеров эффективного внедрения Big Data, PLM и IIoT в промышленности

Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, цифровизация, цифровая трансформация, Internet Of Things, IoT, IIoT, интернет вещей, нефтегазовая отрасль, нефтянка, нефтегазовая промышленность

Продолжая разговор о том, что такое цифровой двойник и где эта технология Industry 4.0 используется на практике, сегодня мы рассмотрим несколько реальных примеров такой цифровизации в отечественной и зарубежной промышленности. Читайте в нашей статье про практическую синергию технологий Big Data, ML, PLM и IIoT в нефтегазовой, теплоэнергетической и машиностроительной отраслях. Также мы расскажем, как такая цифровизация помогла немецкому заводу Siemens на четверть сократить себестоимость изделий. Тотальная цифровизация: госкомпания по внедрению технологий I4.0 Цифровизация государственных предприятий продолжается: 20 мая 2019 года Министерство коммуникаций и связи отправило в крупные госкорпорации (Газпромнефть, Аэрофлот, РЖД, КамАЗ, Почта России, Ростех, Ростелеком и др.) проект новых методических рекомендаций по разработке стратегий цифровой трансформации [1]. Этот документ разработан в рамках национальной программы «Цифровая экономика» и предусматривает практическое Далее …

Цифровизация производства и цифровые двойники: объединяем PLM, IoT и Big Data

Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, цифровизация, цифровая трансформация, Internet Of Things, IoT, IIoT, интернет вещей, цифровой двойник

В этой статье мы разберем, что такое цифровой двойник – один из главных трендов развития 4-ой промышленной революции (Industry 4.0) на ближайшие 5 лет. Читайте в сегодняшнем материале, зачем нужен виртуальный макет завода, из чего состоит информационная модель изделия и где используются цифровые двойники. Также рассмотрим, как CALS- и PLM-технологии связаны с Big Data и интернетом вещей, а, самое главное, чем бизнесу выгодна такая цифровизация. Что такое цифровой двойник и зачем он нужен Цифровой двойник (Digital Twin) – это виртуальная интерактивная копия реального физического объекта или процесса, которая помогает эффективно управлять им, оптимизируя бизнес-операции. Например, цифровой двойник завода позволяет моделировать расположение оборудования, перемещение сотрудников, рабочие процессы и внештатные ситуации. Именно интерактивность отличает понятие цифрового двойника от термина «информационная модель изделия» (ИМИ) Далее …

Что ждет Big Data в 2020: итоги ушедшего десятилетия и будущие перспективы

Big Data, Большие данные, предиктивная аналитика, Internet Of Things, Machine Learning, интернет вещей, IoT, IIoT, машинное обучение, ИТ-планы и прогнозы 2020, цифровая трансформация

На пороге 3-го десятилетия 21 века пришло время подвести итог прошедшим годам и cделать прогнозы на будущее. В этой статье мы поговорим о ключевых событиях минувших лет, помечтаем о том, что ждет Big Data и чего нам принесет эта ИТ-область. Также поделимся с вами своими планами на 2020 год: расскажем о новых обучающих курсах и образовательных направлениях. Главные ИТ-тренды последних 10 лет в России и за рубежом В первое 10-летие 21 века облачные вычисления (Cloud Computing) и основанные на них SaaS/PaaS/IaaS-решения успешно заняли свое место в ландшафте корпоративной инфраструктуры. NoSQL-СУБД, BI-системы и технологии контейнеризации (виртуализации) перестали быть игрушкой для гиков и активно используются как крупными игроками, так и малым бизнесом. IP-телефония, онлайн ERP- и CRM-продукты с модулями предиктивной аналитики – Далее …

Apache Cassandra vs HBase: что и когда выбирать для NoSQL в Big Data

Big Data, Большие данные, архитектура, обработка данных, NoSQL, SQL, Cassandra, HBase, Hadoop, IoT, Internet of Things, IIoT, интернет вещей, предиктивная аналитика

Рассмотрев ключевые сходства и различия Cassandra и HBase, сегодня мы поговорим, в каких случаях стоит выбирать ту или иную нереляционную СУБД для обработки больших данных (Big Data) в NoSQL-хранилище. Где используются NoSQL-СУБД в Big Data Прежде всего отметим основные области применения рассматриваемых нереляционных СУБД. Проанализировав наиболее известные примеры использования (use cases) Apache HBase и Кассандры, можно сделать вывод, что обе системы широко применяются для обработки временных рядов в следующих направлениях Big Data: показания smart-датчиков в IoT/IIoT; сбор и аналитика событий пользовательского поведения (действия, счетчики веб-сайтов и т.д.), в том числе для построения рекомендательных систем, о чем мы рассказывали здесь на примере стримингового сервиса Spotify; финансовые системы (биржевая аналитика, обнаружение мошенничества); агрегация данных из систем обмена сообщениями (чаты, мессенджеры, электронная почта, Далее …

10 примеров применения Apache Cassandra в 5 направлениях Big Data

Big Data, Большие данные, архитектура, обработка данных, NoSQL, SQL, Cassandra, HBase, Internet of Things, IoT, IIoT, интернет вещей, машинное обучение, Machine Learning, Spark

Благодаря быстроте, надежности и другим достоинствам Apache Cassandra, эта распределенная NoSQL-СУБД широко применяется во многих Big Data проектах по всему миру. В этой статье мы собрали для вас несколько интересных примеров реального использования Кассандры в 5 ключевых направлениях современного ИТ. Где используется Apache Cassandra: 5 главных приложений c примерами Промышленные решения на базе Cassandra развёрнуты в Cisco, IBM, Cloudkick, Reddit, Digg, Rackspace, Twitter и множестве других компаний, работающих с большими данными [1]. Например, Expedia, крупная туристическая компания США, с помощью Кассандры хранит миллиарды постоянно обновляемых цен из 140 000 отелей. Apple имеет более 100 000 узлов Cassandra в production, что подтверждает отличную масштабируемость этой СУБД [2]. Другая data-driven организация, международная компания таксо-перевозок Uber использует Кассандру в нескольких датацентрах, чтобы обеспечить Далее …