ABAC

Разграничение доступа на основе атрибутов (Attribute-Based Access Control, ABAC) — модель контроля доступа к объектам, основанная на анализе правил для атрибутов объектов или субъектов, возможных операций с ними и окружения, соответствующего запросу. Системы управления доступом на основе атрибутов обеспечивают мандатное и избирательное управление доступом. Рассматриваемый вид разграничения доступа дает возможность создать огромное количество комбинаций условий для выражения различных политик.    Оригинал определения  Разграничение доступа на основе атрибутов (Attribute-Based Access Control, ABAC)

Big Data

Big Data (Большие данные) Big Data — данные большого объема, высокой скорости накопления или изменения и/или разновариантные информационные активы, которые требуют экономически эффективных, инновационных формы обработки данных, которые позволяют получить расширенное  понимание информации, способствующее принятию решений и автоматизации процессов. Для каждой организации или компании существует предел объема данных (Volume) которые компания или организация способна обрабатывать одновременно для целей аналитики, как правило этот объем ограничен объемами оперативной памяти серверов корпоративных приложений и баз данных и необходимостью партиционирования (Partitioning)  хранимых данных. Для каждой организации или компании существуют физические ограничения на количество транзакций/ объем данных (Velocity) , которая корпоративныя система может обработать или передать за единицу времени вследствии ограничений scale in архитектуры.  Традиционные корпоративные системы (реляционные) могут использовать эффективно только структурированные источники поступления Далее …

CRISP-DM

CRISP-DM, обработка данных, Big Data, Большие данные, жизненный цикл, Machine Learning, машинное обучение

CRISP-DM (от английского Cross-Industry Standard Process for Data Mining) — межотраслевой стандартный процесс исследования данных. Это проверенная в промышленности и наиболее распространённая методология, первая версия которой была представлена в Брюсселе в марте 1999 года, а пошаговая инструкция опубликована в 2000 году [1]. CRISP-DM описывает жизненный цикл исследования данных, состоящий из 6 фаз, от постановки задачи с точки зрения бизнеса до внедрения технического решения. Последовательность между фазами определена не строго, переходы могут повторяться от итерации к итерации [1]. Все фазы CRISP-DM делятся на задачи, по итогам каждой должен быть достигнут конкретный результат [2]. Рассмотрим подробнее фазы жизненного цикла исследования данных по CRISP-DM [3]: Понимание бизнеса (Business Understanding) – определение целей проекта и требований со стороны бизнеса. Затем эти знания конвертируются в Далее …

Data Lake

Data Lake (Озеро данных) — метод хранения данных системой или репозиторием в натуральном (RAW) формате, который предполагает одновременное хранение данных в различных схемах и форматах, обычно blob (binary large object) объект или файл. Идея озера данных в том чтобы иметь логически определенное, единое хранилище всех данных в организации (enterprise data) начиная от сырых, необработанных исходных данных (RAW data) до предварительно обработанных (transformed) данных испольуемых для различных задач (отчеты, визуализация, аналитика и машинное обучение. Data Lake (озеро данных) — включает структурированные данные из реляционных баз данных (строки и колонки), полуструктурированные данные (CSV, лог файлы, XML, JSON), неструктурированные данные (почтовые сообщения , документы, pdf файлы) и даже бинарные данные (видео, аудио, графические файлы). Data Lake (озеро данных) — кроме методов хранения и Далее …

data provenance

data provenance — происхождение данных

Hive

Apache Hive — это SQL интерфейс доступа к данным для платформы Apache Hadoop. Hive позволяет выполнять запросы, агрегировать и анализировать данные используя SQL синтаксис. Для данных хранящихся на файловой системе HDFS используется схема доступа на чтение позволяющая обращаться с данными как с обыкновенной таблицей или базой данных. Запросы HiveQL при этом в Java код команды  исполняемые MapReduce.   Запросы Hive создаются на языке запросов HiveQL, который основан на языке SQL, но не имеет полной поддержки стандарта SQL-92. В то же время этот язык позволяет программистам использовать их собственные запросы, когда неудобно или неэффективно использовать логику в HiveQL. HiveQL может быть расширен с помощью пользовательских скалярных функций (UDF), агрегаций (UDAF кодов), и табличных функций (UDTF). Архитектура HIVE: Название компонента Описание UI Пользовательский интерфейс Позволяет Далее …

Internet of Things

Internet of Things (Интернет вещей) означает сеть физических или виртуальных предметов (вещей) подключенных напрямую или опосредованно к интернету и взаимодействующие между собой и/или с внешней средой посредством сбора данных и обмена данных поступающих со встроенных сервисов. Интернет вещей (IoT) дает компаниям и организациям возможность контролировать удаленно расположенные «дешевые» вещи /объекты  получая с них информацию и выполняя мониторинг удаленно исполняемых операций. Учитывая огромное количество «умных» устройств в промышленности и повседневной жизни мы получаем колоссальную базу источников поступления информации (больших данных) в реальном времени. Источники https://ru.wikipedia.org/https://ru.wikipedia.org/wiki/Интернет вещей Узнайте больше про Internet of Things и Промышленный интернет вещей на наших курсах для руководителей по основам больших данных Big Data: общее описание и примеры использования

Kafka

Apache Kafka — распределенный программный брокер сообщений поддерживающий транзакционность при работе с потребителями и поставщиками событий: публикует и подписывается на поток записей подобно очереди сообщений и корпоративной системе сообщений хранит поток записей (событий) обеспечивая отказоустойчивость и надежность обрабатывает поток записей (событий) по мере поступления Apache Kafka обычно используется как Event Processing System (система обработки событий) для двух классов приложений: построение потоков каналов данных в режиме реального времени (real-time streaming data pipelines)  с надежность. получения данных между системами и приложениями построение потоковых приложений работающих в режиме реального времени (real-time streaming applications) которые трансформируют или реагируют на данные потока или более красочно от Confluent  Apache Kafka, a Distributed Streaming Platform Проект Apache Kafka https://kafka.apache.org Почитать про Kafka  и попробовать https://www.confluent.io/product/confluent-platform/ Учебные курсы  по Kafka на Далее …

lineage

Data Lineage — Линия данных включает в себя происхождение данных, что происходит с ними и где они перемещаются со временем. Линия данных обеспечивает видимость, в то же время значительно упрощая возможность отслеживания ошибок до нахождения корневой причины чего-либо в процессе анализа данных.     Data lineage  более специфический термин включающий  бизнес data lineage и технический data lineage. Технический data lineage  создается из актуальных технических метаданных и трассирует поток данных на уровне реальных таблиц, скриптов и statements.  Пример: Informatica Metadata Manager Синоним для Data Provenance Оригинал термина на сайте Wikipedia 

Machine Learning

Machine Learning, машинное обучение

Machine learning — множество математических, статистических и вычислительных методов для разработки алгоритмов, способных решить задачу не прямым способом, а на основе поиска закономерностей в разнообразных входных данных. Что такое Machine Learning Общий термин «Machine Learning» или «машинное обучение» обозначает множество математических, статистических и вычислительных методов для разработки алгоритмов, способных решить задачу не прямым способом, а на основе поиска закономерностей в разнообразных входных данных [1].  Решение вычисляется не по четкой формуле, а по установленной зависимости результатов от конкретного набора признаков и их значений. Например, если каждый день в течении недели земля покрыта снегом и температура воздуха существенно ниже нуля, то вероятнее всего, наступила зима. Поэтому машинное обучение применяется для диагностики, прогнозирования, распознавания и принятия решений в различных прикладных сферах: от медицины Далее …

provenance

Data provenance — (происхождение данных) обеспечивает исторические изменения записи  и её оригинала. Происхождение данных генерируется сложными трансформациями такими как workflow и представляют определенную ценность для data scientist. Data provenance часто используют в контексте high-level рассмотрения преобразования данных для бизнес пользователя Синоним Data Lineage     Источник  WikiPedia  

RBAC

Управление доступом на основе ролей (Role Based Access Control, RBAC) — развитие политики избирательного управления доступом, при этом права доступа субъектов системы на объекты группируются с учётом специфики их применения, образуя роли. Формирование ролей призвано определить чёткие и понятные для пользователей компьютерной системы правила разграничения доступа. Ролевое разграничение доступа позволяет реализовать гибкие, изменяющиеся динамически в процессе функционирования компьютерной системы правила разграничения доступа. Такое разграничение доступа является составляющей многих современных компьютерных систем. Как правило, данный подход применяется в системах защиты СУБД, а отдельные элементы реализуются в сетевых операционных системах. Ролевой подход часто используется в системах, для пользователей которых чётко определён круг их должностных полномочий и обязанностей.   Оригинал определения  Управление доступом на основе ролей (Role Based Access Control, RBAC)

Блокчейн

Блокчейн, бизнес, банки, Big Data, Большие данные

Блокчейн (от английского blockchain, block chain – цепочка блоков) — выстроенная по определённым правилам непрерывная последовательность информационных блоков (связный список). Копии цепочек блоков хранятся на множестве разных, независимых друг от друга, компьютеров [1]. Поэтому данную цифровую цепочку называют технологией распределенного реестра [2]. История появления блокчейна Цифровизация финансовой сферы стала родоначальником термина «блокчейн»: впервые он появился в 2008 году, когда была реализована популярная криптовалюта Биткойн. Однако, блокчейн – это не только транзакцит в криптовалютах, эта технология может использоваться в любых взаимосвязанных информационных блоках и реестрах [1]. Зачем нужен блокчейн Блокчейн позволяет автоматизировать процесс заверения данных и подтверждения событий за счет распределенного характера хранения информации, неподконтрольной конкретному регулятору. Поскольку распределенный реестр цепочек информационных блоков хранится на разных компьютерах, проверить наличие и целостность этих Далее …

Большие данные (Big Data)

Большие данные (Big Data) – совокупность непрерывно увеличивающихся объемов информации одного контекста, но разных форматов представления, а также методов и средств для эффективной и быстрой обработки [1].   Big Data: какие данные считаются большими Благодаря экспоненциальному росту возможностей вычислительной техники, описанному в законе Мура [2], объем данных не может являться точным критерием того, являются ли они большими. Например, сегодня большие данные измеряются в терабайтах, а завтра – в петабайтах. Поэтому главной характеристикой Big Data является степень их структурированности и вариантов представления. Яркая иллюстрация больших данных – это непрерывно поступающая информация с датчиков или устройств аудио- и видеорегистрации, потоки сообщений из соцсетей, метеорологические данные, координаты геолокации абонентов сотовой связи и т.п. [3]. Например, вот здесь мы рассказывали, как ПАО «Газпромнефть» собирал Далее …

Интернет вещей

Интернет вещей (Internet of Things) — Интернет вещей означает сеть физических или виртуальных предметов (вещей) подключенных напрямую или опосредованно к интернету и взаимодействующие между собой и/или с внешней средой посредством сбора данных и обмена данных поступающих со встроенных сервисов. Интернет вещей (IoT) дает компаниям и организациям возможность контролировать удаленно расположенные «дешевые» вещи /объекты  получая с них информацию и выполняя мониторинг удаленно исполняемых операций. Учитывая огромное количество «умных» устройств в промышленности и повседневной жизни мы получаем колоссальную базу источников поступления информации (больших данных) в реальном времени. Источники https://ru.wikipedia.org/https://ru.wikipedia.org/wiki/Интернет вещей Узнайте больше про интернет вещей и Промышленный интернет вещей на наших курсах для руководителей по основам больших данных Big Data: общее описание и примеры использования

Машинное обучение

Машинное обучение (Machine Learning) — класс методов искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться

Мультиколлинеарность

Мультиколлинеарность — корреляция независимых переменных [1], которая затрудняет оценку и анализ общего результата [2]. Когда независимые переменные коррелируют друг с другом, говорят о возникновении мультиколлинеарности. В машинном обучении (Machine Learning) мультиколлинеарность может стать причиной переобучаемости модели, что приведет к неверному результату [3]. Кроме того, избыточные коэффициенты увеличивают сложность модели машинного обучения, а значит, время ее тренировки возрастает. Еще мультиколлинеарность факторов плоха тем, что математическая модель регрессии содержит избыточные переменные, а это значит [4]: осложняется интерпретация параметров множественной регрессии как величин действия факторов, параметры регрессии теряют смысл и следует рассматривать другие переменные; оценки параметров ненадежны – получаются большие стандартные ошибки, которые меняются с изменением объема наблюдений, что делает модель регрессии непригодной для прогнозирования. Для оценки мультиколлинеарности используется матрица парных коэффициентов корреляции, у Далее …

Цифровизация

Цифровизация, цифровая трансформация, Digital Transformation, цифровая экономика

Цифровизация Цифровизация – процесс перехода предприятия или целой экономической отрасли на новые модели бизнес-процессов, менеджмента и способов производства, основанных на информационных технологиях [1].   Цифровизация в России и за рубежом: немного истории Впервые термин «цифровизация» появился в последнее 5-летие XX века, когда в 1995-ом году американский информатик Николас Негропонте из Массачусетского университета озвучил понятие «цифровая экономика» [2]. Стратегия развития информационного общества в России на 2017-2030 годы, утвержденная Указом Президента РФ от 09.05.2017 г. № 203, дает следующее определение: «Цифровая экономика – это хозяйственная деятельность, в которой ключевым фактором производства являются данные в цифровом виде, обработка больших объемов и использование результатов анализа которых по сравнению с традиционными формами хозяйствования позволяют существенно повысить эффективность различных видов производства, технологий, оборудования, хранения, продажи, доставки товаров и услуг» Далее …