Логико-статистические методы представления языковых структур в машинном переводе презентация

проблем информатики РАН
kozerenko@mail.ru

строя и функционирования языка на основе эвристических правил различной степени детализации
Методы разрешения неоднозначности языковых структур на основе условных правил

вывод модели для некоторой области на основании выборки данных из этой области
Системе, обучаемой правилам синтаксиса, должен быть предъявлен набор правил (фразовых структур) для обучения

подстановки деревьев
Вероятностные грамматики подстановки функциональных деревьев

годах
Появление больших корпусов параллельных текстов стимулировало развитие статистических методов обработки естественного языка
Вероятностные расширения основных подходов к разработке систем МП, таких как
Прямой перевод
Трансфер (перенос)
Интерлингва (семантический субстрат)
Современные вычислительные ресурсы позволяют использовать
ПЕРЕВОДЧЕСКУЮ ПАМЯТЬ (прецедентные переводы)

правил
SDLX (SDL International) использует переводческую память и поддерживает все языки на основе латинского и арабского алфавитов, а также иврита
DIPLOMAT: осуществляет перевод на основе прецедентов (example-based translation), разрешение неоднозначности на основе статистики

лексико-семантические модели
KANT Center for Machine Translation (CMT), Carnegie Mellon University

испанско-английский МП
4. Системы – рабочие места переводчиков

Наш подход относится к 3-й группе
Используется механизм сегментации языковых структур на основе функционально-семантического переноса и ряда приемов синхронного перевода
Разрешение неоднозначности языковых структур на основе весов, задаваемых для деревьев разбора
Включение механизмов обучения для формирования новых лингвистических знаний

– это множество нетерминальных символов, T – множество терминальных символов, P – множество продукций вида A -> b, где A – это нетерминальный символ, b – это цепочка символов, S – специальный исходный симвло, D – это функция, приписывающая значения вероятности каждому правилу из множества P.

Вероятностная грамматика замещения деревьев: ее определение то же, что и для вероятностной контекстно-свободной грамматики, но здесь мы имеем дело c фрагментами деревьев произвольной глубины, при этом значения вероятности приписываются этим фрагментам.

ряда европейских языков
разрешение неоднозначности с использованием стохастических методов
усвоение системой новых структур и шаблонов с помощью методов машинного обучения