Синтаксический анализ

естественных языков
нейросетевыми методами
Автор: Закиров Р.З.
студент гр. 6539

Науч. рук.: Павлов А.В. к.т.н.

ст.н.с. ВНЦ ГОИ им.С.И.Вавилова

Кафедра Компьютерных 1
Технологиий, 2004
 Содержание
 Цель и задачи работы
 Области языковой обработки
 Понимание естественных языков
 Понимание речи. Выбор подхода.
 Нейросетевая схема разбора речи
 Нейросетевой синтаксический анализатор
 Численные эксперименты
 Заключение

Кафедра Компьютерных 2
Технологиий, 2004
Цель и задачи работы
 Цель работы – нейросетевая
реализация разбора речи
 Задачи исследования
 Выявление специфики нейросетевого
подхода
 Разработка нейросетевой схемы
разбора речи
 Реализация нейросетевого
синтаксического анализатора
Кафедра Компьютерных 3
Технологиий, 2004
Области языковой обработки
 Понимание речи  Машинный
 Распознавание перевод
текста  Проверка
грамотности

 Контекстный поиск  Генерация речи

 Извлечение  Генерация
информации предложений
 Экспертные
системы
Кафедра Компьютерных 4
Технологиий, 2004
Понимание естественных языков
 Уровни языкового анализа
 Просодический
 Фонетический
 Морфологический
 Синтаксический
 Семантический
 Прагматический
 Интерпретация знаний
 Парадигмы языкового разбора
 Символьная
 Статистическая
 Коннекционизм (нейросетевая)

Кафедра Компьютерных 5
Технологиий, 2004
Понимание речи. Выбор подхода.
 Максимальное число уровней анализа
 Символьный подход
 неполная реализация, огромная размерность
 переход на вероятностные грамматики
 Статистический подход
 устойчивость к ошибкам
 унификация, обучаемость на примерах
 Нейросетевой подход
 масштабируемость результатов
 обучаемость, обобщение, контекст
 Конвергенция подходов
Кафедра Компьютерных 6
Технологиий, 2004
Нейросетевая схема разбора речи

observation Acoustic ambiguous Phonemic

phonemes
vectors analyzer phonemes analyzer Vocabulary

ambiguous
des criptors
Syntactic
Semantic commands descriptors
parser Lexical
interpreter
analyzer
descriptors

Кафедра Компьютерных 7
Технологиий, 2004
Пример дерева разбора
Предложение

Сущ. Глаг.
фраза фраза

Сущ. Сущ. Сущ. Пред.

фраза фраза фраза фраза

Числ. Сущ. Мест. Сущ. Глаг. Прил. Сущ. Пред. Сущ.

«один» «приятель» «моего» «друга» «отдыхал» «прошлым» «летом» «на» «юге»

“Один приятель моего друга отдыхал прошлым летом на юге”

Кафедра Компьютерных 8
Технологиий, 2004
Нейросетевой синтаксический
анализатор
 Спецификация нейросетевой модели
 input: дескрипторы (характ.вектор)
 output: набор команд («перенос», «свертка-n»)
 обучение алгоритмом обратного распространения
 Фразовая грамматика предложений
 S  NP VP
 NP  art NP1
 NP  NP1
 NP1  adj NP1
 NP1  noun
 VP  verb NP
 VP  verb
 JOONE – NN engine and graphic editor
Кафедра Компьютерных 9
Технологиий, 2004
Вход и выход анализатора
- + - -

дескриптор дескриптор дескриптор дескриптор

№1 №2 №3 №L

узел

текущее
слово слово слово
слово

+ + - + -

свертка свертка свертка свертка

перенос
«1» «2» «3» «N»

Кафедра Компьютерных 10
Технологиий, 2004
Классическая и адаптированная SRN

Кафедра Компьютерных 11
Технологиий, 2004
Результаты обучения
Эксперименты RMSE промахи
“Boy loves” 0.15 0
“A boy loves” 0.18 0
“Boy loves girl” 0.14 0
“Little boy loves girl” 0.15 0
2 предложения 0.17 0
4 предложения 0.43 3
6 пр. (5-5-3) 0.52 11
6 пр. (5-6-3) 0.37 7
6 пр. (5-6-3, корр.) 0.40 7
6 пр. (5-7-3, корр.) 0.71 15
6 пр. (4-7-3) 0.71 16
Кафедра Компьютерных 12
Технологиий, 2004
Заключение
 Результаты
 Свежий обзор подходов к пониманию языка
 Архитектура нейросетевого разбора речи
 Нейросетевой синтаксический анализатор
 Улучшение классической архитектуры SRN
 Проблемы
 Недостаточная информационная емкость
 Подбор эффективного алгоритма обучения
 Реализация обратной связи на входе
 Перспективы
 Реализация схемы нейросетевого разбора речи
 Расширение фразовой грамматики
Кафедра Компьютерных 13
Технологиий, 2004
 Спасибо
за внимание!

Кафедра Компьютерных 14
Технологиий, 2004