Машинный перевод презентация

на другой
Сферы применения: большие объемы информации и/или высокие требования к скорости перевода:
Документация
Новости
Военные сводки
Интернет-сайты, многоязычный поиск
Справочная информация (рецепты, объявления, адреса)
Основная цель: быстро понять основное содержание сообщения на иностранном языке
Не замена ручному переводу; можно даже сказать – другая задача

Принципиальная сложность используемых алгоритмов
Для достижения удовлетворительного качества перевода необходимо огромное количество правил, выводимых вручную

Представляет собой «классический» подход к МП,
реализован в большинстве современных систем автоматического или
автоматизированного перевода, в т.ч. в ПРОМТ, SYSTRAN, Linguatec.

Достоинства:
При наличии необходимых для перевода правил – высокое качество
перевода. Правила должны быть отлично выверены.
Возможность настройки словарей с учетом предметной области

специальной вероятностной моделью

Недостатки:
Отсутствие каких-либо механизмов анализа грамматических правил
Требует больших вычислительных мощностей
Для удовлетворительной работы необходимы огромные объемы
данных (сотни миллионов N-грамм)

На данный момент статистический МП реализован только в
некоммерческой системе on-line перевода Google translate

Достоинства: для улучшения качества перевода достаточно добавлять
массивы параллельных текстов, дополнительная работа лингвистов
или программистов не требуется

перевода

перевода

целевом языке

Пословный перевод (word-by-word)
Никаких промежуточных структур помимо морфологии
После перевода слов – простое переупорядочивание в соответствии со знанием о языке (например, в английском прилагательное идет до существительного, во французском и испанском – после)
Используемое знание: морфологическая структура языка и локальные правила перевода слов

похожести между двумя языками
«Надежность» - можно переводить даже неполные предложения
Словари – наиболее важный компонент

перевода

выхода

Предложение на языке выхода

анализ

TRANSFER

синтез

языка трансформируется в синтаксическую структуру целевого языка
Синтез текста на целевом языке по синтаксической структуре

году ~13 млн евро
Акции торгуются на бирже

идиом
Снятие неоднозначности (word sense disambiguation)
Выбор предлогов по глаголу
Синтез
Большой двуязычный словарь
Переупорядочивание
Синтез морфологии

для разных единиц перевода:
Уровень лексических единиц
Уровень групп
Уровень простых предложений
Уровень сложных предложений

Пример: ПРОМТ

на уровне групп
Основа – формальные сетевые грамматики
При анализе соединение синтаксических единиц в группы → структура в терминах непосредственных составляющих → синтез лексических единиц с наследуемыми значениями морф. признаков

TRANSFER на уровне предложений
Основа – фреймовые предикатные структуры
Глагол – главный элемент
Валентности глагола определяют заполнение фрейма
Каждому типу фреймов соответствует некоторый закон преобразования в выходной фрейм и оформление актантов

+
Анализ сложных предложений – в случае формирования согласования времен и правильного перевода союзов.

Промт: трансфер на разных уронях

перевода

использоваться для других языковых пар (теоретически)

Тем не менее, создание систем машинного перевода очень сложно и трудоемко, сами системы громоздкие и сильно завязанные на конкретную пару языков

перевода

языка выхода

Предложение на языке выхода

анализ

синтез

Пока ни одной подобной системы не создано
Причина: сложность создания семантического представления приемлемого качества

вероятности зависят от объема и качества обучающего корпуса
Лингвистическая информация: разбиение на предложения, графематический анализ, морфология
При наличии корпуса простейшая система перевода может быть сделана на 2 недели

что:
T = argmaxp(T|S)
Теорема Байеса:
T = argmaxp(S|T)p(T)
Содержательная интерпретация:
хороший перевод – это сочетание точности передачи информации и правильности целевого языка;
нужна модель перевода p(S|T) (вычисляется по пераллельному корпусу) и модель целевого языка p(T) (вычисляется по одноязычному корпусу)

строкой e.
Выравнивание, т.е. нахождение соответствия между f строкой e – отдельная задача.
a – показатель качества выравнивания (alignment)

и человеческим переводом
Взвешенное среднее числа совпадений N-грамм машинного перевода с переводом человека

– Chapter 25
A. Ittycheriah Statistical Machine Translation // Handbook of natural language processing, Second Edition Editor(s): Nitin Indurkhya; Fred J. Damerau, Goshen, Connecticut, USA – 2010 – pp. 409-422
Dan Jurafsky From Languages to Information. Lecture 16-17: Machine Translation - http://www.stanford.edu/class/cs124/
Дмитрий Кан Введение в машинный перевод - http://www.slideshare.net/dmitrykan/introduction-to-machine-translation-2911038
Денис Столяров Автоматический перевод на основе шаблонов -http://mathlingvo.ru/nlpseminar/archive/s_23
Елена Уфлянд Работа автоматического переводчика ПроМТ - http://mathlingvo.ru/nlpseminar/archive/s_3
Александр Гребеньков Работа автоматического переводчика - http://mathlingvo.ru/nlpseminar/archive/s_10