Что такое AirFlow?

Планируем рабочие процессы вместе с Apache Airflow Почему Apache Airflow? Большинство процессов обработки данных строятся на определении набора «задач» для извлечения, анализа, преобразования, загрузки и хранения данных. Например, последовательность обработки данных может состоять из таких задач, как чтение логов из S3, создание задания Spark для извлечения соответствующих объектов, индексирование объектов с помощью Solr и обновление существующего индекса для расширения поиска. Чтобы автоматизировать процесс и запускать его еженедельно, вы можете использовать планировщик времени, например Cron, определяя рабочие процессы в Crontab. Это Далее …

KSQL — для тех кто любит Kafka и не знает Java

KSQL — это движок SQL с открытым исходным кодом для Apache Kafka. Он обеспечивает простой, но мощный интерактивный SQL интерфейс для потоковой обработки на Kafka, без необходимости писать код на языке программирования, таком как Java или Python.  SELECT * FROM payments-kafka-stream WHERE fraud_probability > 0.8                                                                    KSQL поддерживает широкий Далее …

Cloudera выпустила новый релиз Cloudera Enterprise 6.0

10 сентября 2018 г. компания Cloudera  выпустила новую платформу для построения решений Data Warehousing и Machine Learning  предназначенную для унификации контроля и управления длительными и  переходящими нагрузками в Public Clouds и центрах данных с испольованием нового решения Cloudera Altus.   Cloudera Enterprise 6.0 построенная поверх новой версии дистрибутива Apache Hadoop 3.0  добавляет ряд новых улучшений в  состав и характеристики компонент решения: Cloudera Altus Director — решение для управления несколькими высилительными кластерами и кластерами данных  в гибридном облаке. Новая версия Solr — Далее …

Новый курс по безопасности озера данных Hadoop

На протяжении 3 дней практического обучения  вы рассмотрите вопросы  установки и настройки эшелонированной защиты  озера данных (Data Lake) Hadoop под управлением дистрибутива Hadoop компании HortonWorks с использованием протоколов безопасности Kerberos, интеграция с  Active Directory или FreeIPA с поддержкой механизмов авторизации и аудита событий безопасности Apache Ranger, настройка защищенного периметра сети с поддержкой Single-Sign-On средствами Apache Knox Gateway. Политики ограничения доступа Apache Ranger на уровне строк, колонок и  значений  с использованием Apache Atlas.  Использование технологии машинного обучения для распознавания инцидентов безопасности с использованием Apache Metron, а также настройка опций безопасности для компонентов экосистемы Hadoop: Kafka, HDFS, YARN, Apache Spark, Hive, HBase, MapReduce.  Подробная программа Далее …

Конференция Больших Данных 2018

13 сентября 2018  в Москве пройдет 5я Практическая конференция по Большим Данным. В рамках программы конференции будут проведены три трека программ: Бизнес Технический Научный В форме чемпионата Big Data Hackathon среди специалистов в области Data Science будет предложенно  решить различные задачи на датасетах партнеров Big Data Conference В программе новые, неопубликованные ранее кейсы, обсуждение эффективности разных подходов и уроки для начинающих использовать большие данные для бизнеса, доклады посвященные техническим деталям реализации подходов Data Science, и научные доклады посвященные методам Data Mining, Далее …

Доступна KNIME Analytics Platform 3.6

Вышла новая версия KNIME Analytics Platform 3.6 , в качестве интересных особенностей улучшена интеграция алгоритмов Deep Learning, добавлена поддержка H2O Sparkling Water, утилит-узлы: multi column dictionary Tagger numeric outlier node multi column expression node узлы для поддержки Git репозитория узел для поддержки работы с большими данными KNIME Workflow для  подключения к Apache Spark 2.3, Apache Hive, and Apache Hadoop Оригинал анонса вы можете найти по адресу KNIME Analytics Platform 3.6.0 Release notes .     

9-я Международная промышленная выставка «Иннопром-2018»

Правительство Свердловской области на конкурсной основе выбрало совместные решения консорциума iDVP и компании «Корус АКС» для демонстрации развития проекта «Умный регион» в сфере «Образование». В рамках экспозиции «Корус АКС» на стенде Свердловской области будут представлены успешно реализованные проекты и прототипы в области продвинутой аналитики и 3D-визуализации больших данных: новая перспективная разработка для сферы образования – приложение, визуализирующее комплекс показателей учебных заведений на интерактивной карте Москвы. Приложение позволяет в режиме онлайн контролировать показатели успеваемости (посещаемость, оценки и т.д.), получать достоверную информацию об организации Далее …

Новые возможности развития в условиях четвертой промышленной революции

Послание Президента Республики Казахстан Н. Назарбаева народу Казахстана. 10 января 2018 г. (тезисы) Уважаемые казахстанцы! Сегодня мир вступает в эпоху Четвертой промышленной революции, эру глубоких и стремительных изменений: технологических, экономических и социальных. … Принята комплексная программа «Цифровой Казахстан». … Данное Послание определяет, что нам предстоит сделать для успешной навигации и адаптации в новом мире – мире Четвертой промышленной революции. Эпоха «нефтяного изобилия» практически подходит к концу. Стране требуется новое качество развития. Глобальные тренды показывают, что оно должно основываться в первую очередь на широком внедрении элементов Четвертой промышленной революции. Это Далее …

Системы распознавания лиц для обеспечения безопасности мероприятий. РБК

Системы видеоанализа и биометрической идентификации широко внедряются при организации систем безопасности проведения массовых мероприятий в Москве. Технологии распознавание лиц позволяют контролировать доступ на стадионы хулиганов — болельщиков не только на входных турникетах спортивных сооружений, но и на стадии покупки билетов. Базы распознавания лиц включают  «черные списки хулиганов» МВД и также планируется интеграция с базами ФСБ.  На данный момент в Москве на каждый квадратный километр приходится более 54 видеокамер с распознавание …..   Полный текст статьи вы можете прочитать на сайте Далее …