ShieldFont подменяет слова в HTML, чтобы запутать ИИ-скрейперы

Механизм ShieldFont работает на основе лигатур — функций, обычно объединяющих символы для красоты. В данном случае шрифт подменяет слова на этапе отображения страницы. К примеру, вместо «лошади» читатель увидит «картофель», хотя браузер корректно отрисует оригинал. За три месяца авторы наполнили словарь 12 тысячами популярных слов, позволяя искажать до 45% содержательной лексики в текстах.

В ходе тестов на шести системах скрейпинга 90% страниц, защищенных ShieldFont, были отсеяны алгоритмами как некачественные. Оставшиеся данные содержали высокий процент «интеллектуального мусора» — грамматически верных, но лишенных изначального смысла фраз. Хотя метод не дает стопроцентной защиты против OCR-распознавания, он удорожает процесс сбора данных в 5–13 раз.

Технология неизбежно создает проблемы для поисковых роботов, сервисов автоперевода и программ чтения с экрана. Разработчики признают, что ShieldFont не предназначен для полной блокировки доступа к контенту, а служит инструментом для замедления массового автоматизированного сбора данных.