Список публикаций по ключевому слову: «»
Филологические науки
Дата публикации: 30.07.2019 г.
Оцените материал Средняя оценка: 0 (Всего: 0)
Ардаева Анастасия Андреевна , студентка
ФГБОУ ВО «Восточно-Сибирский государственный университет технологий и управления» , Бурятия Респ
«Алгоритм препроцессорной обработки ЕЯ-текста на Python»
В статье рассматривается препроцессорная обработка естественно-языкового текста, которая является важным этапом подготовки текста к решению различных задач: машинный перевод, автореферирование, понимание смысла текста и многих других. В работе рассмотрены основные этапы подготовки текста: токенизация, фильтрация и нормализация. Полученный результат может использоваться для построения векторной модели текста и в дальнейшем в разных алгоритмах машинного обучения.