NER

NER (Named Entity Recognition, распознавание именованных сущностей) – технология, которая находит в тексте отдельные объекты: ФИО, организации, адреса, даты и другие сущности. Для анонимизации это один из слоев проверки: программа видит «Иванов Иван Иванович» и предлагает заменить его на [ФИО_1].

Готовые инструменты

• Microsoft Presidio – фреймворк для поиска и обезличивания персональных и других чувствительных данных.
• Natasha – библиотека для обработки русского текста с готовым NER.
• DeepPavlov – библиотека с готовыми NLP-моделями, в том числе для NER.

NER может пропустить редкое имя или принять название компании за обычную фразу. Поэтому результат проверяют, а NER обычно соединяют с регулярными выражениями и словарями.

Связанные заметки: Анонимизаторы · Конфиденциальность и ИИ · Локальные модели