Текстовая маркировка

Определение

Маркировка текста — это процесс присвоения тексту категорий или тегов, таких как тональность, тема или именованные сущности.

Цель

Целью является преобразование необработанного текста в структурированные данные для контролируемых задач обработки естественного языка.

Значение

• Позволяет обучать модели классификации и извлечения.
• Качество влияет на справедливость и точность модели.
• Требуются экспертные знания в конкретной области для выполнения специализированных задач.
• Масштабный, трудоемкий.

Как это работает

1. Определите категории меток.
2. Разделите текст на блоки (предложения, документы).
3. Аннотаторы присваивают метки.
4. Проверить межаннотаторское соглашение.
5. Экспортировать маркированный текст для обучения.

Примеры (реальный мир)

• Отзывы на Yelp, помеченные как основанные на настроениях.
• Наборы данных по классификации спама и нежелательной почты.
• Аннотированный юридический текст положений договора.

Ссылки/Дополнительная литература

• Пэнг и Ли. «Изучение общественного мнения и анализ настроений».
• Бендер и Фридман. «Высказывания о данных для НЛП». ACL 2018.
• Документация по наборам данных Hugging Face.
• Точная маркировка текста для машинного обучения