Список публикаций по ключевому слову: «»


Филологические науки

Дата публикации: 30.07.2019 г.
Оцените материал Средняя оценка: 0 (Всего: 0)
Трапезников Алексей Александрович , студент
Ардаева Анастасия Андреевна , студентка
ФГБОУ ВО «Восточно-Сибирский государственный университет технологий и управления» , Бурятия Респ

«Алгоритм препроцессорной обработки ЕЯ-текста на Python»

Скачать статью

В статье рассматривается препроцессорная обработка естественно-языкового текста, которая является важным этапом подготовки текста к решению различных задач: машинный перевод, автореферирование, понимание смысла текста и многих других. В работе рассмотрены основные этапы подготовки текста: токенизация, фильтрация и нормализация. Полученный результат может использоваться для построения векторной модели текста и в дальнейшем в разных алгоритмах машинного обучения.