KSQL — для тех кто любит Kafka и не знает Java

KSQL — это движок SQL с открытым исходным кодом для Apache Kafka. Он обеспечивает простой, но мощный интерактивный SQL интерфейс для потоковой обработки на Kafka, без необходимости писать код на языке программирования, таком как Java или Python.  SELECT * FROM payments-kafka-stream WHERE fraud_probability > 0.8                                                                    KSQL поддерживает широкий спектр потоковых операций, включая фильтрацию данных, преобразования, агрегации, соединения, оконные операции и сессии. Он является масштабируемым, отказоустойчивым и позволяет в режиме реального времени удовлетворить потребности бизнеса в данных.  Теперь вы можете задаться вопросом, для чего я могу использовать KSQL? Вот несколько Далее …

Cloudera выпустила новый релиз Cloudera Enterprise 6.0

10 сентября 2018 г. компания Cloudera  выпустила новую платформу для построения решений Data Warehousing и Machine Learning  предназначенную для унификации контроля и управления длительными и  переходящими нагрузками в Public Clouds и центрах данных с испольованием нового решения Cloudera Altus.   Cloudera Enterprise 6.0 построенная поверх новой версии дистрибутива Apache Hadoop 3.0  добавляет ряд новых улучшений в  состав и характеристики компонент решения: Cloudera Altus Director — решение для управления несколькими высилительными кластерами и кластерами данных  в гибридном облаке. Новая версия Solr — полнотекстовый поисковый двиок с новыми аналитическими возможностями для текстового поиска Новая версия HBase — columnar data store Новая версии решения для управления и развертывания кластеров для Hadoop (Cloudera Manager) Новая версия Hive -инструмент для выполнения ELT преобразований данных с использованием Далее …

Новый курс по безопасности озера данных Hadoop

На протяжении 3 дней практического обучения  вы рассмотрите вопросы  установки и настройки эшелонированной защиты  озера данных (Data Lake) Hadoop под управлением дистрибутива Hadoop компании HortonWorks с использованием протоколов безопасности Kerberos, интеграция с  Active Directory или FreeIPA с поддержкой механизмов авторизации и аудита событий безопасности Apache Ranger, настройка защищенного периметра сети с поддержкой Single-Sign-On средствами Apache Knox Gateway. Политики ограничения доступа Apache Ranger на уровне строк, колонок и  значений  с использованием Apache Atlas.  Использование технологии машинного обучения для распознавания инцидентов безопасности с использованием Apache Metron, а также настройка опций безопасности для компонентов экосистемы Hadoop: Kafka, HDFS, YARN, Apache Spark, Hive, HBase, MapReduce.  Подробная программа курса на сайте «Безопасность озера данных Hadoop (HortonWorks HDP)» Комплексное предложение  по скидке на любые два курса (один по безопасности) звоните  телю +7 (985) 162-29-63 Related Posts:DSEC: Безопасность озера данных HadoopБезопасность озера данных Hadoop (Cloudera…HADM: Администрирование кластера HadoopHDDE: Hadoop для Далее …

Конференция Больших Данных 2018

13 сентября 2018  в Москве пройдет 5я Практическая конференция по Большим Данным. В рамках программы конференции будут проведены три трека программ: Бизнес Технический Научный В форме чемпионата Big Data Hackathon среди специалистов в области Data Science будет предложенно  решить различные задачи на датасетах партнеров Big Data Conference В программе новые, неопубликованные ранее кейсы, обсуждение эффективности разных подходов и уроки для начинающих использовать большие данные для бизнеса, доклады посвященные техническим деталям реализации подходов Data Science, и научные доклады посвященные методам Data Mining, машинного и глубокого обучения(Machine Learning  и Deep Learning )и искусственного интелекта (Artificial Intelligence).  Подробнее ознакомиться с программой и зарегистрироваться на мероприятие можно на сайте bigdataconf.org. Related Posts:BDAM: Аналитика больших данных для руководителейDSEC: Безопасность озера данных HadoopБезопасность озера данных Hadoop (Cloudera…HDDE: Hadoop для инженеров данных

Доступна KNIME Analytics Platform 3.6

Вышла новая версия KNIME Analytics Platform 3.6 , в качестве интересных особенностей улучшена интеграция алгоритмов Deep Learning, добавлена поддержка H2O Sparkling Water, утилит-узлы: multi column dictionary Tagger numeric outlier node multi column expression node узлы для поддержки Git репозитория узел для поддержки работы с большими данными KNIME Workflow для  подключения к Apache Spark 2.3, Apache Hive, and Apache Hadoop Оригинал анонса вы можете найти по адресу KNIME Analytics Platform 3.6.0 Release notes .      Related Posts:DSEC: Безопасность озера данных HadoopHADM: Администрирование кластера HadoopБезопасность озера данных Hadoop (Cloudera…HDDE: Hadoop для инженеров данных

9-я Международная промышленная выставка «Иннопром-2018»

Правительство Свердловской области на конкурсной основе выбрало совместные решения консорциума iDVP и компании «Корус АКС» для демонстрации развития проекта «Умный регион» в сфере «Образование». В рамках экспозиции «Корус АКС» на стенде Свердловской области будут представлены успешно реализованные проекты и прототипы в области продвинутой аналитики и 3D-визуализации больших данных: новая перспективная разработка для сферы образования – приложение, визуализирующее комплекс показателей учебных заведений на интерактивной карте Москвы. Приложение позволяет в режиме онлайн контролировать показатели успеваемости (посещаемость, оценки и т.д.), получать достоверную информацию об организации питания, процессе создания учебных материалов, отслеживать статусы заявлений, а также активность учащихся и их родителей в системе; центр мониторинга ЕМИАС – инструмент, который в режиме реального времени ежедневно отслеживает и наглядно демонстрирует наиболее важные данные о работе амбулаторно-поликлинического звена столичного Далее …

Новые возможности развития в условиях четвертой промышленной революции

Послание Президента Республики Казахстан Н. Назарбаева народу Казахстана. 10 января 2018 г. (тезисы) Уважаемые казахстанцы! Сегодня мир вступает в эпоху Четвертой промышленной революции, эру глубоких и стремительных изменений: технологических, экономических и социальных. … Принята комплексная программа «Цифровой Казахстан». … Данное Послание определяет, что нам предстоит сделать для успешной навигации и адаптации в новом мире – мире Четвертой промышленной революции. Эпоха «нефтяного изобилия» практически подходит к концу. Стране требуется новое качество развития. Глобальные тренды показывают, что оно должно основываться в первую очередь на широком внедрении элементов Четвертой промышленной революции. Это несет в себе как вызовы, так и возможности. Уверен, у Казахстана есть все необходимое для вхождения в число лидеров нового мира. Для этого нужно сконцентрироваться на решении следующих задач. ПЕРВОЕ. Индустриализация должна стать флагманом внедрения новых технологий. В то же время индустриализация должна стать более инновационной, используя все Далее …

Системы распознавания лиц для обеспечения безопасности мероприятий. РБК

Системы видеоанализа и биометрической идентификации широко внедряются при организации систем безопасности проведения массовых мероприятий в Москве. Технологии распознавание лиц позволяют контролировать доступ на стадионы хулиганов — болельщиков не только на входных турникетах спортивных сооружений, но и на стадии покупки билетов. Базы распознавания лиц включают  «черные списки хулиганов» МВД и также планируется интеграция с базами ФСБ.  На данный момент в Москве на каждый квадратный километр приходится более 54 видеокамер с распознавание …..   Полный текст статьи вы можете прочитать на сайте Рос Бизнес Консалтинг + партнерские проекты Related Posts:Безопасность озера данных Hadoop (Cloudera…DSEC: Безопасность озера данных HadoopЧто такое AirFlow?BDAM: Аналитика больших данных для руководителей