Продолжаем говорить о NLP в PySpark. После того как тексты обработаны: удалены стоп-слова и проведена лемматизация — их следует векторизовать для последующей передачи алгоритмам Machine Learning. Сегодня мы расскажем о…
Метка: NLP
Предобработка текстов на русском в PySpark
Автор Роман КотюбеевКатегория Spark, Статьи
В одной из прошлых статей мы говорили о методах NLP (natural language processing) в PySpark. Сегодня мы покажем, как обработать реальный датасет, который содержит тексты на русском языке. Читайте у…
Конвейер Big Data для Machine Learning на Apache Kafka: разбираем систему речевой аналитики
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Use Cases, Распознавание Речи, Статьи
В этой статье мы рассмотрим комплексный конвейер (pipeline) обработки больших данных с помощью алгоритмов машинного обучения (Machine Learning) для системы речевого анализа Callinter от китайской компании Fano Labs. Apache Kafka…
