автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему: Адаптивная обработка каллиграфической информации, представленной в виде рукописных символов

Автореферат диссертации по теме "Адаптивная обработка каллиграфической информации, представленной в виде рукописных символов"

УДК: 81:002 На правах рукописи

Демин Алексей Анатольевич

АДАПТИВНАЯ ОБРАБОТКА КАЛЛИГРАФИЧЕСКОЙ ИНФОРМАЦИИ, ПРЕДСТАВЛЕННОЙ В ВИДЕ РУКОПИСНЫХ СИМВОЛОВ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в технических системах)

диссертации на соискание учёной степени кандидата технических наук

Работа выполнена в Московском Государственном Техническом Университете им. Н.Э. Баумана.

Научный руководитель кандидат технических наук, доцент кафедры «Проектирование и технология производства электронной аппаратуры» МГТУ им. Н.Э. Баумана, Власов Андрей Игоревич

д.т.н., ведущ. научн. сотр. Институт системного анализа РАН, Пестрякова Надежда Владимировна и

д.т.н., доцент, проф., Московский государственный университет приборостроения и информатики Сизых Вадим Витальевич.

ОАО «Российские космические системы» (Москва)

Защита диссертации состоится «31»марта 2015 года в 16:30 на заседании диссертационного совета Д 212.141.02 при Московском Государственном Техническом Университете им. Н.Э.Баумана по адресу: Госпитальный пер. д. 10, ауд. 613м.

С диссертацией можно ознакомиться в библиотеке Московского государственного технического университета им. Н.Э. Баумана и на сайте: http://bmstu.ru

Автореферат разослан « т » -ятгвщтя 2015 г.

Ученый секретарь диссертационного совета, к.т.н., доцент

Муратов Игорь Валентинович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Проблема обработки каллиграфической информации, содержащейся в рукописных символах (то есть, информации о структуре графических объектов и способе их воспроизведения), является актуальной при решении задач обработки данных, в педагогике, медицине: распознавание символов, обучение письму, коррекция почерка, восстановление графомоторных навыков и другое.

Учитывая стоимость компьютеров я смартфонов, недоступную для многих слоев населения, а так же привычку рукописного изложения мыслей, информация зачастую продолжает сохраняться в письменном виде. Огромные объёмы документов, научных, исторических и художественных произведений всё ещё не оцифрованы (или оцифрованы только до уровня графических объектов) и остаются вырванными из общей базы человеческих знаний, доступных для моментального поиска и удалённого использования. В связи с этим процессы обработки и сохранения рукописных текстов и изображений являются предметом изучения для специалистов в области системного анализа, управления и обработки информации.

Таким образом, одним из применений данных исследований является автоматизированная конвертация рукописей в символьный вид. Во-первых, это в сотни раз повышает компактность информации (следовательно - и скорость передачи), снижает стоимость её хранения. Во-вторых, появляется возможность редактирования, машинного перевода, обработки семантическими и другими программами. И хотя успешные работы в этом направлении проводятся со второй половины прошлого века, проблема быстрой и безошибочной оценки почерка сегодня далека от окончательного закрытия. Особенно актуальными являются подходы к её решению, примером которых могут служить использованные автором алгоритмы анализа самого процесса письма в реальном времени.

Изучение мелкой моторики человека через обработку каллиграфической информации даёт массу сведений о его физиологии и психологии. Их правильная интерпретация позволяет диагностировать многие заболевания, принимать решения о наиболее эффективных способах их лечения, реабилитации после травм и нервных расстройств, длительной гиподинамии, воздействия повышенной гравитации или невесомости, обучения письму и развития специальных профессиональных навыков.

Ещё одной областью, в которой актуальны подобные исследования, является криминалистика, в частности - идентификация почерка. Разработанные методики в принципе позволяют перевести данное направление на качественно иной уровень - к идентификации не по фрагменту текста, а по отдельной литере или погрешностям в изображении одной единственной геометрической фигуры. Более того, после накопления достаточной базы данных по особенностям моторики можно будет судить (подобно правилам сцепленного наследования в генетике) о прочих свойствах организма, являющихся достаточными для идентификации личности.

Наконец, сами методы исследования, использованные в работе, и подход к математической стороне проблемы могут найти широкое применение в других -

как смежных, так и совершенно удалённых - отраслях техники и гуманитарных наук. Например, адаптивная обработка каллиграфической информации предполагает, что на уровне формирования навыка каллиграфии применяются адаптивные методики обучения. Аналогичные решения подходят для массы теоретических и прикладных задач, сочетающих изучение какого-либо процесса и влияние на этот процесс — в естественнонаучных и социальных исследованиях, в информатике и биологии, при создании самых различных интерактивных систем.

Исследованиями структурных аспектов рукописного текста, включая каллиграфию, занимались с начала 70-х годов XX века В.А. Ковалевский, К.Фукунага, разработкой классификаторов для рукописных символов и компьютерным распознаванием - Д.Е. Ян, Н.Д. Горский., B.JI. Арлазаров и др. В XXI веке Н.В. Котович, О.А Славин исследовали скелетизацию рукописного текста и методы адаптивного распознавания, A.A. Михайлов, В.В. Постников -методы сегментации текста, А.Б. Мерков — методы обработки слитного текста; и др. В МГТУ им. Н.Э. Баумана вопросами распознавания древнерусских скорописных текстов занимается научная школа под руководством Ю.Н.Филипповича. Применением рандомизированных алгоритмов для распознавания и анализа каллиграфии рукописных текстов занимается научная школа проф. О.Н. Граничина (Санкт Петербург) и др.

Несмотря на большой накопленный учеными опыт по распознаванию текста, проблема обработки каллиграфической информации рукописных символов недостаточно исследована в аспекте формирования навыков письма.

Целью исследования является создание и формализация обобщенной модели обработки каллиграфической информации рукописного текста в аспекте адаптивного формирования навыков каллиграфии и коррекции почерка.

Для достижения указанной цели в работе решены следующие задачи:

- исследованы методами системного анализа на основе классификации, экспертного оценивания и тестирования процессы формирования навыков каллиграфии во время обучения письму и реабилитации функции мелкой моторики рук;

- разработана обучающая система формирования навыков каллиграфии, основанной на адаптивных алгоритмах и включающей специальные обучающие и реабилитационные упражнения;

разработана структура базы данных интеллектуальной системы, предназначенной для обработки каллиграфической информации и формирования навыков письма;

- разработана адаптивная методика составления индивидуального курса обучения и восстановления навыков письма.

Объектом исследования является каллиграфическая информация, представленная в виде графических объектов-примитивов и рукописных символов русского алфавита.

Предметом исследования является методика обработки каллиграфической информации графических объектов-примитивов и русскоязычного рукописного текста.

Научная новизна диссертационного исследования:

- разработана математическая модель оценки рукописных символов в процессе написания, основанная на самообучающемся адаптивном рандомизированном алгоритме стохастической оптимизации;

- предложен алгоритм обработки рукописных образов в режиме реального времени, позволяющий оценить качество каллиграфии, скорость письма и прогресс выполнения упражнений;

- формализована библиотека специальных адаптивных упражнений для обучения письму, коррекции почерка, тренировки и восстановления мелкой моторики рук;

- предложен адаптивный алгоритм подбора упражнений на основе оценки качества письма для проведения индивидуальной коррекции почерка.

Методы исследования. При решении поставленных задач в работе использованы методы системного анализа, нелинейного программирования, теории информационных систем и обработки данных, теория вероятностей, математическая статистика; также в работе были использованы методы обработки образов печатного и рукописного текста с использованием оптимизированной файловой БД для хранения информационных структур символов.

Достоверность полученных научных результатов, выводов и рекомендаций диссертационной работы подтверждена результатами численного моделирования с применением описанной выше математической модели на основе рандомизированного алгоритма стохастической оптимизации и экспериментальных исследований разработанной системы формирования навыков каллиграфии. Предложенная методика апробирована на научных конференциях и имеет практическое внедрение.

На защиту выносятся научные положения, составляющие научную новизну исследования.

Практическая значимость работы состоит в том, что система оценки каллиграфии может применяться для восстановления нарушенного почерка в сфере восстановительной медицины, для обучения базовым навыкам письма, совершенствования каллиграфии, как одного из вспомогательных средств обучения русскому и иностранным языкам и других областях.

Разработанная система может быть применена для решения частных прикладных задач, например, для автоматизированной экспертизы почерка, а также для оценки функционального состояния организма и тренировки рук в процессе реадаптации при воздействии гипо- и микрогравитации в условиях космического пространства.

Использование результатов работы. Создан сенсорный комплекс для оценки каллиграфии «Электронная пропись», который позволяет вводить рукописный текст с планшета, планшетных ПК и других сенсорных панелей, распознавать введенные символы, анализировать отклонения их написания от эталона и предлагать рекомендации по улучшению почерка и скорости письма. С целью повышения грамотности пользователя в ПО комплекса могут быть введены словари для проверки орфографии и дополнительные алгоритмы для исправления ошибок пунктуации.

В результате применения комплекса в курсе реабилитации больных после инсульта в центрах восстановительной терапии НИИ цереброваскулярной

патологии и инсульта Российского национального исследовательского медицинского университета им. Н.И. Пирогова Минздравсоцразвития России было отмечено ускорение восстановления мелкой моторики и улучшение показателей высших психических функций пациентов. Вынесено заключение о целесообразности применения системы в комплексной программе реабилитационных мероприятий пациентов с острым нарушением мозгового кровообращения.

По результатам опытной эксплуатации обучающей системы в учреждениях дошкольного и среднего образования г. Москвы для обучения письму младших школьников было сделано заключение о ее эффективности при обучении письму и тренировке почерка учеников. Экспертные оценки на основании проведенных исследований с использованием экспертных панелей и метода средних арифметических рангов составили от 8,5 до 10 баллов по десятибалльной шкале.

Полученные результаты использованы в учебном процессе по перспективным педагогическим технологиям в Калужском государственном университете им. К.Э. Циолковского, что позволило разработать перспективные методики постановки руки в процессе обучения письму посредством комплексных упражнений с элементами развития почерка и мелкой моторики рук.

Апробация работы была проведена на научных семинарах кафедры проектирования и технологии производства электронной аппаратуры ФГБОУ ВПО МГТУ им. Н.Э. Баумана (Москва, 2010-2014 гг.), IV Всероссийском конкурсе молодых ученых (Москва, 2012 г.), Третьей международной научно-технической конференции Аэрокосмические технологии (Москва, 2014 г.), Первая международная научная конференция «Научное развитие в европейских странах: новые концепции и современные решения» (Штутгарт, 2013 г.), десятом международном симпозиуме INTELS'2012 (Вологда, 2012 г.), Молодежной научно-технической конференции «Наукоемкие технологии и интеллектуальные системы» (Москва, 2010 г.).

Система «Электронная пропись» зарегистрирована в Роспатенте (Свидетельство о регистрации программ для ЭВМ №2008611676).

Публикации. Основные результаты работы опубликованы в 12 научных работах в ведущих рецензируемых журналах, из них 4 в журналах, рекомендованных ВАК при Министерстве образования и науки РФ для публикации результатов диссертаций.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Общий объем работы 150 страниц, включая 76 иллюстраций, список литературы и приложения. Библиография содержит 67 наименований, из них 4 из иностранных источников.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность решения поставленных в диссертации задач, сформулирована цель и задачи исследования процессов распознавания рукописных данных и методик улучшения качества письма,

обоснована научная новизна, показана практическая значимость реализации систем анализа каллиграфии рукописных символов.

В первой главе исследованы принципы и особенности построения систем распознавания образов и методики обработки каллиграфической информации и анализа почерка. Проведена постановка задачи. Рассмотрены методы представления рукописных символов в электронном виде. Введено точное понятие образа и математическое представление образа.

В общей структуре системы распознавания рукописных данных можно выделить три подсистемы (Рисунок 1): подсистема извлечения признаков, подсистема распознавания и подсистема принятия решения о принадлежности объекта к определенному классу.

Рисунок 1. Система распознавания рукописной информации

Разработка системы ввода текста, её тестирование и отладка, невозможна без создания базы данных символов, в общем случае состоящей из:

- графического описания символов с учетом направления движения пера и его отрывов;

- графического описания символов с учетом только направления движения пера;

- графического описания символов с учетом только внешнего вида и величины отклонения от эталона.

Открытых баз описания символов (букв) русского алфавита не существует, поэтому при разработке системы ввода рукописного текста приходится создавать и наполнять собственную базу символов.

В основе методов распознавания символов лежат способы их описания. Среди них можно выделить две группы:

- описание базовых форм символов в виде структурных компонентов (отрезки, дуги, выпуклости, вогнутости, пересечения, концы и т.п.) и их соотношений;

- описание диапазона изменений структурных компонентов.

Описание базовой формы символа в виде списка структурных компонентов с описанием таблицы диапазонов изменений составляет эталон этого символа. Таким образом, каждый входной символ представляется базовыми формами, а затем находится наилучшее совпадение входного символа и эталона из базы данных.

Система ввода рукописной символьной информации обычно реализуется в виде программно-аппаратного комплекса, выполняющего следующие функции: считывание рукописного текста; распознавание вводимых символов; формальнологический и словарный автоматический контроль распознанной информации; выдача распознанной информации; предоставление возможности ручной верификации данных; запись обработанной информации в необходимом формате и ее хранение. Для решения задачи коррекции письма в системе должен быть предусмотрен анализ качества письма и выдача рекомендаций по его повышению.

Классификация методов распознавания может базироваться на разных принципах. На Рисунке 2 показана классификация, выделяющая методы распознавания отдельных символов и их упорядоченных наборов.

Рисунок 2. Методы распознавания рукописных данных

Проведенный анализ алгоритмов и методов обработки рукописных текстов показал, что для обработки каллиграфической информации рукописных текстов может быть использован рандомизированный алгоритм стохастической оптимизации (РАСА), предложенный в работах О.Н. Граничина, Б.Т. Поляка и др. в 80-х годах XX века. Метод применяется для оперативного распознавания рукописных символов, представленных в форме вектора признаков; является самообучающимся алгоритмом, отличающимся свойством адаптивности и высокой помехоустойчивостью.

Алгоритм РАСА был положен в основу математической модели для обучающей системы, позволяющей проводить обработку, визуализацию и преобразование каллиграфической информации и формировать навыки каллиграфии на основе адаптивных методов обучения с применением специальной библиотеки упражнений.

Современные системы оптического распознавания имеют более низкую точность распознавания символов для рукописных текстов по сравнению с печатными текстами, из-за сложности их структурных характеристик, включая

каллиграфию. Поэтому актуальной задачей, решенной в работе, было повышение точности обработки рукописных текстов при одновременном снижении потерь качества и данных.

Во второй главе разработаны математические методы и модели распознавания рукописных образов.

Исследованы алгоритмы распознавания почерка в автономном и оперативном методах распознавания. Выполнена реализация алгоритма распознавания рукописного текста в рамках оперативного метода распознавания на персональном компьютере с использованием сенсорного устройства ввода графической информации (планшет). Разработан алгоритм векторизации рукописных данных на основе преобразования группы точек, лежащих на одной прямой в вектора.

Определен круг задач, которые необходимо выполнить для реализации обучающей системы, позволяющей обрабатывать каллиграфическую информацию:

- исследование методов получения образов почерка в реальном времени: при получении образов почерка в реальном времени можно напрямую считывать траекторию движения пера, его скорость, остается только векторизовать кривую и сравнить с эталоном для распознания и анализа;

- разработка алгоритмов для проведения распознавания образов;

- разработка программного обеспечения для обработки рукописных символов, включающая следующие этапы: разработку удобного для пользователя интерфейса, обеспечение совместимости со всеми устройствами ввода; написание параллельной версии, удобной и понятной для детей;

- введение эталонов написания букв различных языков - для этого необходимо разработать эталоны написания прописных букв для различных языков;

- разработка алгоритмов определения причин неправильного письма, подбор необходимых рекомендаций для улучшения навыков письма;

- внедрение разработанных устройств в уже существующие системы образования и дистанционного обучения.

Были реализованы следующие алгоритмы для автономного метода распознавания рукописного текста:

- приведение изображения к серой шкале.

- приведение изображения к черно-белому виду;

- анализ и удаление не относящихся к тексту шумов на изображении;

- скелетизация черно-белого изображения;

- выделение слов в образе рукописного текста;

- выделение строк в образе рукописного текста;

- определение угла наклона букв;

- исправление погрешности скелетизации.

Представление изображения в виде серой шкалы означает, что каждый пиксель изображения будет представлен в форме числа, лежащего в интервале [0. 255]. В ходе поведенного исследования было определено, что этого диапазона достаточно для того, чтобы сохранить необходимые данные с наименьшей их потерей при переходе к серой шкале.

Шумоподавление — это удаление возможного зашумления изображения, являющегося следствием погрешности устройства ввода изображение (например, сканера). Реализован алгоритм сглаживания с использованием функции Гаусса (Рисунок 3).

Рисунок 3. Двумерное нормальное распределение цвета символа с разными весовыми коэффициентами, а - неоптимальное распределение со сливающимися границами, б - оптимальное распределение с раздельными ярко выраженными границами

Дискретное гауссово ядро сглаживания (апертуру фильтра) можно получить, построив массив размером (2к+1)х(2к+1), значение элемента (у) которого равно:

где а - это среднеквадратическое отклонение гауссиана, к - коэффициент апертуры фильтра.

Название ядра объясняется тем, что именно такой вид имеет плотность вероятности для двумерной нормальной (или гауссовой) случайной переменной с заданной ковариантностью. Данное ядро сглаживания образует такое взвешенное среднее, для которого в центре ядра весовые коэффициенты пикселей намного больше, чем на его границах. Этот подход можно обосновать качественно: сглаживание подавляет шум, поддерживая требование, чтобы пиксели были похожи на своих соседей. Уменьшая весовые коэффициенты для отдалённых пикселей, можно быть уверенным, что для них это требование будет не таким жёстким.

Выделения контуров изображения может быть проведено методами Кирша, Лапласа, Робертса, Собела, Уоллеса, статистическим методом и др. Например, статистический метод является двухпроходовым и применим для любой апертуры, даже для прямоугольной. На первом этапе вычисляется среднее значение яркости по текущему рабочему окну:

Затем рассчитывается значение среднеквадратичного отклонения значений элементов рабочего окна от среднеарифметического значения:

Значения всех элементов рабочего окна умножаются на полученное отклонение:

Для обеспечения наблюдаемости может потребоваться повышение порога яркости путем сложения с числом ЮО.Статистический метод — единственный из перечисленных выше, у которого изменяются значения сразу всех элементов рабочего окна;

Скелет текста, получаемый из растрового черно-белого изображения, представляет собой наборы линий толщиной в один пиксель. В общем случае, суть скелетизации - это приведение данных к такому виду, чтобы затем можно было получить скелет изображения в его векторном представлении и привести тем самым объем данных к тому минимуму, который необходим для процесса распознавания (Рисунок 4).

После векторизации изображения происходит аппроксимация векторизованных данных, которая необходима для того, чтобы избавиться от избыточности ранее полученных данных. Эта избыточность состоит в том, что некоторые точки кривых не являются существенными. Это те точки, избавившись от которых, можно при необходимости вновь легко их вычислить и восстановить.

Для аппроксимации векторизированного изображения применен метод последовательных приближений.

Изображение представляется как набор точек, образующих некоторую связную кривую. Нужно найти набор прямых, аппроксимирующих эту кривую. Через любые две соседние точки можно провести только одну прямую. Если каждая следующая соседняя точка лежит достаточно близко к уже проведенной прямой, то прямая корректируется с учетом этой точки. В противном случае новая точка и следующая за ней считаются началом следующей прямой (Рисунок 5).

Рисунок 4. Алгоритм составления скелета рукописных данных

Рисунок 5. Алгоритм векторизации изображения

Алгоритм заканчивает свою работу, когда все точки будут приписаны той или

Рисунок 6. Работа итерационного алгоритма

Рисунок 7. Алгоритм векторизации тонкого контура

Схема алгоритма векторизации контура методом последовательных приближений приведена на рисунке 7. Предложенный способ позволяет разложить тонкий контур только на набор связанных прямых, что является единственным существенным недостатком метода.

Среди преимуществ метода можно выделить небольшие вычислительные затраты и простоту реализации. Однако описанный метод векторизации очень чувствителен к дефектам и шумам на изображении, что крайне нежелательно.

Для организации распознавания и оценки каллиграфии непосредственно в процессе письма с использованием сенсорного экрана или планшета, применяется оперативный метод распознавания. Для распознавания рукописного текста оперативным методом был разработан алгоритм, в котором можно выделить следующие основные этапы распознавания:

- получение тонкого контура изображения;

- приведение изображения к векторному виду;

- определение угла наклона;

- выделение псевдослов из образа;

- определение особых точек (вершины и узлы);

- построение карты особых точек.

В результате анализа популярных алгоритмов сегментации и классификации штрихов при распознавании образов почерка в работе сформулированы методы определения элементов рукописного текста и их признаков, по которым формируется методика корректировки каллиграфии. Условно такие признаки можно разделить на три группы: общесистемные, частно-системные и пространственно-топографические признаки. На рисунке 8 проиллюстрированы основные пространственно-топографические признаки элементов рукописного, к которым относят отступы от краев листа, красную строку, интервалы между строками и словами и форму линии строки.

Краем. Интерба/1 пехдц слобами

форна линии строки /1

Рисунок 8. Пространственные топографические признаки.

Разработанная и исследованная математическая модель оперативного метода распознавания рукописных символов и обработки заключенной в них каллиграфической информации построена на основе самообучающегося рандомизированного алгоритма стохастической оптимизации. Основное уравнение модели определяет функционал качества классификации или функционал среднего риска, равный

Он представляет собой функцию набора у/ центров классов. Вокруг каждого такого центра класса у/ группируются все точки х класса Хк(р). В геометрическом смысле задача автоматической классификации, к которой можно свести задачи распознавания рукописных образов и обработки каллиграфической информации, состоит в определении набора центров классов