Alpha-Beta-Release Blog

Приветствуем наших читателей. Знаете, работа с стартапе, который пытается создать что-то новое и уникальное на рынке очень захватывает. И не только открывающимися возможностями, но и часто нетривиальными задачами и вопросами, которые ставятся перед создателями и которые раньше никто не решал. Вот один из таких вопросов как раз вчера появился передо мной: дано нам произвольную строку текста, заведомо известно, что она может быть двух, а в некоторых случаях и трёхязычной, то есть там смешанный текст из нескольких языков. Необходимо прозрачно для пользователя определить язык, на котором написан текст.

На самом деле задача не такая и редкая - подобная функциональность есть и в текстовых редакторах, и в переключателе клавиатуры PuntoSwitcher, да и в системах машинного перевода такой функционал востребован, не говоря уже про системы поиска информации. Кстати, именно в контексте создания специализированного поисковика и классификатора текстов и появилась такая проблема. Необходимо было получить такую возможность в собственной программе на платформе РНР и при этом не задействовать сторонние сервисы - подобная возможность в виде веб-сервиса присутствует в Google Language API (мы уже исследовали этот сервис), однако она выполняется удалённо и имеет некоторые существенные для нас ограничения, в частности, процедура опознания языка выполняется с существенной задержкой и асинхронна по своей природе. Кроме этого очень хотелось иметь полный контроль над процессом и иметь возможность его гибко настраивать, чего, увы, нет в сторонних сервисах. Поэтому пришлось подумать и попробовать реализовать собственными силами, результат же представляем вашему вниманию.

Сначала немного теории. Сразу следует сказать, что сам процесс автоматического определения языка неточен и принципиально является вероятностным. То есть всегда результат даётся с какой-либо вероятностью, особенно это касается языков, которые имеют очень схожий либо даже идентичный алфавит (в написании), однако различны. При этом мы ещё и зависим от длины строки исследуемого текста - чем меньше у нас материала для исследования, тем сложнее или даже невозможно является такое определение. Ведь для статистики необходимо иметь больше поле для подсчёта параметров, а в короткой строке мы не можем получить достаточно материала для идентификации, особенно при анализе языков, которые имеют в своей основе одинаковый алфавит. В таком тексте банально может просто не встречаться уникальных букв и оно будет определено как слово другого языка. Поэтому первым ограничением метода анализа используемого алфавита является длина текста - чем он больше, тем точнее анализ. Приведу пример: слово "rappel". На каком оно языке? На английском? Оно означает "спускаться на верёвке". Но такое же слово есть и в немецком языке! И там оно означает "(внезапное) помешательство, приступ бешенства".

Этот метод имеет две разновидности. Вариант использования "процента использования алфавита" использует подсчёт количества использованных уникальных символов алфавита в тексте и расчёт % от  общего объёма. Второй изменяет количество символов из текста, которое совпадает с алфавитом, при этом некоторые символы могут попадать в разные алфавиты и засчитываться обоим языкам.

Второй метод основан на использовании заранее сформированных правил, которые устанавливают идентичность текста при помощи уникальных или типичных для грамматики языка последовательностей букв (например, артикли в английском, буквы "ъ" и "ё" в русском или "є" в украинском). Такие правила для n-грамм могут разрабатываться лингвистами и позволяют быстрее и точнее определить язык текста, однако также не дают гарантированного результата. Их то сначала нужно создать, а значит владеть языком на достаточном уровне, да и не так много уникальных характерных последовательностей в разных языках. Хотя, если вы заранее знаете, какие языки вам надо определять, то между ними может быть больше уникальных сочетаний, чем если использовать все языки. Если у вас только русский и английский, то таких буквосочетаний явно больше, чем в паре немецкий-английский.

Отдельно следует остановиться на случае, когда в тексте смешиваются слова разных алфавитов. Например, имена или названия компаний и товаров могут быть написаны на оригинальном языке, чаще всего английском, однако все предложение сформулировано по-русски. Здесь поможет только вариант подсчёта общего количества символов, которые принадлежат алфавиту и на основе того, чьих символов больше, принимать решения. В будущей версии библиотека сможет распознавать такие варианты и выдавать массив из языков, которые встречаются в строке, сейчас она покажет только основной язык, тот, которого в строке больше всего символов.

В своей библиотеке я решил использовать оба подхода и все возможные варианты, позволяя гибко сконфигурировать алгоритм для использования любого подхода или их комбинации. Технически библиотека очень простая - один класс, несколько методов и свойств, которые задают параметры работы. Построчно он комментирован в исходном коде, поэтому здесь я не буду приводить все описание реализации, остановлюсь лишь на особенностях.

Библиотека работает с текстами в кодировке UTF-8, поэтому требует модуля mb_strings и первым делом приводит полученную строку к стандартной форме, пытаясь её перекодировать, потом удаляет лишние знаки и проверяет длину. Минимальный объём текста 50 символов, максимальный - 1680, это примерно равно одной стандартной странице формата А4.

Вы можете задать различные варианты детектирования. Библиотека может использовать анализ алфавитов, при этом смотреть или на общий объем текста, или же на процент используемых букв каждого алфавита. Порог принятия решения также настраивается, по умолчанию это 75% (в зависимости от подсчёта, это или 75% букв алфавита или же в тексте общее количество символов этого языка больше 75%).   Также есть возможность использовать эвристические правила для уточнения результата, при этом можно настроить приоритет - если правило не подтвердит результат анализа по статистике, то более верным считать результат работы правил или же следует довериться статистике. Для более быстрой работы, особенно на больших объёмах текста или большом количестве языков можно использовать только правила, их то обычно намного меньше, чем символов в алфавитах. Кстати, настраивается и использование правил - для получения результата можно использовать как совпадение с одним из правил, или же требовать совпадения со всеми правилами одного языка, однако это применимо только для длинных текстов и всегда будет вероятность ошибки.

Возвращает библиотека после детектирования или значение false, что означает невозможность определения или же то, что используемого языка нет в базе данных. В случае успеха мы получаем массив с двух буквенным кодом языка (для примера: "en", "ru" или "ua"), а также дополнительные сведения - полное название языка и, в качестве бонуса, ссылку на статью о языке в Wikipedia.org (конечно, на этом же языке).

Пока первая версия библиотеки умеет работать только с тремя языками - английским, русским и украинским, хотя ничего не мешает добавить дополнительные алфавиты и правила для работы с любыми языками.

Напоследок одно замечание о скорости. Самым быстрым вариантом будет использовать только правила, так как их всегда меньше, чем букв и внутри библиотеки мы будем использовать более короткие циклы. В частности, чем длиннее текст и чем больше языков мы определили в базе для поиска, тем быстрее будет вариант только с правилами. Поэтому, для оптимизации вам лучше всего заранее ограничить набор языков самыми вероятными  и удалить те, что вам не нужны - так сократится значительное число циклов и алгоритм будет работать быстрее. Также можно убрать проверку и декодирование строки, если вы уверены, что у вас в системе на вход алгоритма будет подаваться только гарантировано уже преобразованные к кодировке UTF-8 строки.

Официальный сайт проекта: http://code.google.com/p/phplangautodetect/

Лицензия: GNU General Public License v3

Автор: Александр Лозовюк (aleks_raiden, aleks.raiden@gmail.com)

Язык/платформа: PHP 5 (требует модуль mb_strings)

В дистрибутив включён простейший скрипт для экспериментов, он-лайн последняя версия здесь.

Исходный текст с комментариями и замечаниями по реализации описанных выше алгоритмов.