Распознавание именованных сущностей (NER)

Определение

Распознавание именованных сущностей (NER) — это задача обработки естественного языка, которая идентифицирует и классифицирует сущности в тексте, такие как люди, организации, местоположения, даты или продукты.

Цель

Цель — структурировать неструктурированный текст путём извлечения ключевых сущностей. Поддерживает поиск, извлечение информации и построение графа знаний.

Значение

• Основополагающий для информационного поиска и конвейеров обработки естественного языка.
• Ошибки распространяются на нижестоящие приложения.
• Для NER, специфичных для определенной области (например, медицинской, юридической), требуются специальные наборы данных.
• Относится к таким задачам, как связывание сущностей и извлечение связей.

Как это работает

1. Собирайте и предварительно обрабатывайте текст.
2. Аннотируйте наборы данных с помощью категорий сущностей.
3. Обучать модели на маркированных примерах (CRF, трансформаторы).
4. Предсказывать сущности в невидимом тексте.
5. Подтвердите точность с помощью тестовых данных.

Примеры (реальный мир)

• spaCy: библиотека обработки естественного языка с открытым исходным кодом и встроенным NER.
• Stanford CoreNLP: предоставляет инструменты распознавания именованных сущностей.
• Финансовый NLP: извлекает названия компаний из отчетов.

Ссылки/Дополнительная литература

• Джурафски и Мартин. Обработка речи и языка. Стэнфорд.
• Лэмпл и др. «Нейронные архитектуры для распознавания именованных сущностей». ACL.
• Модели NER «Обнимающие лица-трансформеры».
• Что такое распознавание именованных сущностей (NER)