Распознавание документов на казахском языке: что ломается и как это лечить
Казахский текст распознаётся хуже русского из-за специфических букв и смешанных документов, где два языка идут рядом. Лечится это поддержкой обоих языков одновременно и проверкой реквизитов по правилам: ИИН, БИН и IBAN проверяются арифметически и от языка не зависят.
Короткий ответ: проблема не в самом казахском языке, а в том, что системы настраивают на один язык, а документы приходят на двух. Решение это одновременная поддержка языков и проверка значений по правилам.
Что именно ломается
- Специфические буквы. Символы, которых нет в русском алфавите, при плохом качестве скана путаются с похожими.
- Смешанный текст. В одном документе шапка на казахском, таблица на русском, а печать на обоих. Система, настроенная на один язык, вторую часть читает как набор символов.
- Термины. Наименования документов и полей на казахском отличаются от прямого перевода, и поиск по ключевым словам не срабатывает.
- Транслитерация имён. Одна и та же фамилия в разных документах записана по-разному, и сравнение по строке даёт расхождение там, где его нет.
Что от языка не зависит
| Что проверяем | Зависит от языка |
|---|---|
| Контрольный разряд ИИН и БИН | Нет |
| Контрольная сумма IBAN | Нет |
| Формат даты | Почти нет |
| Совпадение сумм между документами | Нет |
| Наименование вида документа | Да |
| Сравнение фамилий | Да, из-за транслитерации |
Это важное следствие: даже когда текст прочитан неидеально, ключевые реквизиты можно проверить арифметически. Ошибка распознавания в номере почти наверняка не пройдёт проверку контрольного разряда.
Что делать с транслитерацией фамилий
Фамилия в удостоверении, в дипломе и в заявлении может быть записана тремя разными способами, и все три законны. Сравнение строк даст расхождение, а расхождения на самом деле нет.
- Сравнивайте не строки, а нормализованные написания: приводите к одному виду перед сравнением.
- Помечайте такие случаи как требующие взгляда человека, а не как ошибку.
- Опирайтесь на ИИН как на главный признак: он один и не зависит от написания.
Практические советы по качеству
- Сканируйте в 300 точек на дюйм: на казахских буквах разница с 200 заметнее, чем на русских.
- Не используйте режим чёрно-белого сканирования для документов с печатями: серая шкала даёт лучший результат.
- Отдавайте документ целиком, не обрезая шапку: по ней определяется вид документа.
- Если документ существует в электронном виде, отдавайте файл, а не снимок: текстовый слой снимает вопрос языка полностью.
Как проверить на своих документах
Универсального ответа про точность на конкретной выборке не существует: она зависит от качества ваших сканов и видов документов. Проверяется это опытом: первые 50 дел в месяц бесплатны, и этого достаточно, чтобы прогнать реальные документы на двух языках и посмотреть, что читается, а что требует ручного взгляда.
Частые вопросы
Почему казахский текст распознаётся хуже
Из-за специфических букв, которые путаются при плохом качестве скана, и из-за смешанных документов, где казахский и русский идут рядом.
Зависит ли проверка ИИН и БИН от языка документа
Нет. Контрольный разряд вычисляется арифметически из самого номера, поэтому проверка работает одинаково на любом языке.
Что делать, если фамилия в документах написана по-разному
Сравнивать не строки, а нормализованные написания, и опираться на ИИН как на основной признак. Такие случаи стоит помечать для человека, а не считать ошибкой.
Как улучшить распознавание казахских документов
Сканировать в 300 точек на дюйм в оттенках серого, не обрезать шапку документа и отдавать электронный файл вместо снимка, когда он есть.
Что с этим делать дальше
Если документы идут потоком, проверку стоит отдать сервису. DocVision Ai читает сканы и PDF, достаёт реквизиты, сверяет документы комплекта между собой и ведёт историю дел. Первые 50 дел в месяц бесплатно, дальше от 1500 тенге за комплект. Отдельный документ можно распознать онлайн без регистрации: файл читается в браузере и на сервер не уходит.