Машинная морфология. Автоматический морфологический анализ. Виды автоматического морфологического анализа презентация

информации на естественном языке.

При индексировании текстов и поиске запросов поисковая машина должна производить лингвистическую обработку слов.

по смыслу являются одним и тем же словом, но по форме могут очень сильно различаться из-за окончаний, а также чередований букв в основе.

Таким образом, поисковику нужно отождествлять между собой словоформы, являющиеся грамматическими формами одного и того же слова, чтобы при поиске не пропускать вхождений искомого слова.

слов.

Для этого в ходе индексации web-страниц слова приводятся к основам, и уже в таком виде добавляются в индекс поисковой машины.

Если все словоформы слова сводятся к его основе на этапе создания индекса, то потом, при задании любой словоформы слова в запросе, она также будет сведена к основе и будут найдены все вхождения этой основы в тексте.

для всех словоформ слова, используемого как для индексации, так и для поиска.

лицо и пр.) и всех возможных омонимов.

сведений, которые из нее можно извлечь безотносительно к тому, относятся ли эти сведения к морфологии или нет.

АМА определяется двумя факторами:
1) тип ЕЯ, подвергаемого анализу
2) тип алгоритма автоматической обработки текста

слова

Цель и результат: определение морфологических характеристик слова и его основная словоформа

для русского языка он основан на словаре Зализняка.

2.«нечеткая» морфология –
основывается на некоторой системе правил, по заданному слову определяющих его морфологические характеристики.

3. вероятностный подход – основан на сочетаемости слов с конкретными морфологическими характеристиками.

из которых указан определенный код.

Известна система правил, с помощью которой можно построить все формы данного слова, отталкиваясь от начальной словоформы и соответствующего ей кода.

Помимо построения каждой словоформы, система правил автоматически ставит в соответствие ей морфологические характеристики.

При проведении четкого морфологического анализа необходимо иметь словарь всех слов и всех словоформ языка.

Этот словарь на входе принимает форму слова, а на выходе выдает его морфологические характеристики.

найти его в словаре, где уже хранятся точные, «окончательно известные» значения всех его морфологических характеристик.

Для одного и того же входного слова могут встретиться сразу несколько вариантов значений его морфологических
характеристик.

могут не входить в словарь всех словоформ.

Такая ситуация может возникнуть из-за ошибок ввода исходного текста, из-за наличия в тексте имен собственных и т.д.

В случае, когда метод не дает нужного результата, применяется нечеткая морфология.

словаре морфем русского языка указано разделение каждого слова на отдельные части, но не указаны типы каждой из них — какая из них является приставкой, какая корнем и т.д.

Множество всех корней слов русского языка открыто, но множество всех возможных приставок, суффиксов и окончаний ограничено.

Кроме того, известно, что в любом слове сначала идут приставки, затем корни, далее суффиксы и окончания.

который будет содержать не только разбиение каждого слова на части, но и тип каждой из них. В таком случае, для проведения морфемного анализа слова необходимо обратиться к этому словарю.

Морфемный анализ не ограничивается обращениями к словарю. В ситуации, когда слово отсутствует в словаре, возможно непосредственное проведение анализа на основе стандартного строения слов русского языка (приставка — корень — суффикс — окончание) и множества всех приставок, суффиксов и окончаний.

можно построить систему правил, которая будет опираться на наличие или отсутствие каких-либо частей и выдавать одно или несколько предположений о морфологических параметрах.

Такой набор правил можно построить основываясь на морфемном анализе слов, содержащихся в словаре всех словоформ, и их морфологических характеристик.

и его морфологических характеристик.

Это есть не что иное, как «вход» и «выход» системы правил, которая по морфемному строению слова будет определять его морфологические характеристики.

Задачу построения такой системы правил можно решить с помощью самообучающейся системы.

Для ее реализации могут быть использованы деревья решений, программирование на основе индуктивной логики (ILP, Inductive Logic Programming) или другие алгоритмы.

реализация :
написание экспертной системы диагностирующего типа.

грамматическим классам.

Для каждой словоформы определяются все ее грамматические классы, а также вероятность ее отношения к каждому из этих классов. Это выполняется на основе некоторого набора документов, где каждому слову предварительно поставлен в соответствие грамматический класс.

Затем вычисляются вероятности сочетаний определенных грамматических классов для слов, стоящих рядом — для двоек, троек, четверок и т.д. На основе этих чисел может проводиться анализ слов, но для него необходимо уже не только само слово, но и стоящие рядом с ним слова.

порядок слов в предложении. Если же порядок слов можно изменять, то все возможные сочетания грамматических классов будут практически равновероятны.

Если первые два способа анализа (четкая и нечеткая морфология) на входе принимают отдельные слова, то вероятностный способ, напротив, на входе принимает либо все предложение, либо, по крайней мере, несколько стоящих рядом слов.

следующие виды морфологического анализа:

МА со словарём словоформ
МА со словарём основ
МА методом логического умножения
Независимый МА без словаря словоформ

информация о нем.

+
простота и высокая скорость анализа;
универсальность по отношению по
2. отношению ко множеству всех возможным словоформ русского языка

-
Большие затраты труда на создание и поддержание словаря;
Невозможность полного размещения словаря в оперативной памяти при анализе;
Высокая избыточность информации, связанной с постоянными признаками каждой словоформы (морфологическими, синтаксическими, семантическими)

суффикс);

словарь содержит только основы слов вместе с ссылками на соответствующие строки в таблице возможных аффиксов.

основа должна оставаться неизменной во всех возможных словоформах данного слова

Суммарный объем словаря основ и словаря аффиксов < объем полного словаря всех словоформ

и словарь основ):

Использование
словаря основ

Использование
словаря
словоформ

+

-

Завершение анализа

+

время анализа одного слова может быть выше, но объем словарей позволяет загружать словари целиком;
словари значительно легче создавать, т.к. постоянные параметры каждого слова вводятся однократно, вместе с основой.

-

отсутствие универсальности, существует большое количество слов, которые нельзя представить в виде суммы неизменной основы и аффикса.
Например: сущ. «ГОД» во мн.ч., ед. П – «ЛЕТ» местоимение «Я»

объединения информации о словоформах, в которые входит данная морфема.

Информация о словоформе получается как пересечение или логическая конъюнкция (&) информации о морфемах, входящих в данную словоформу.

заменяется на функцию, определенную на множестве морфем.

Такой анализ производится при наличии словаря основ и применяется к флективным языкам, каждой букве соответствует булевый вектор (есть 1, нет 0).

флективных языках.

Выделяются грамматические морфемы: флексии, предлоги, союзы, знаки препинания между словами - все элементы. передающие связи слов во фразе.


Группа флексий, характеризующаяся одинаковым набором грамм. отношений. которые они могут передавать, образует морфему.

т.е. морфемными синонимами.

Задача алгоритма состоит в том, чтобы по взаимному расположению алломорфов отнести каждую флексию к ее морфеме.

С этой целью строятся специальные словари: словари флексий, словари слов, не несущих грамм. информации. (наречий и т.п.).

Способ имеет ограниченной применение.

язык, 1987.
Гарант-Парк-Интернет. Технологии анализа и поиска текстовой информации. http://research.metric.ru.
Кузнецова А.И., Ефремова Т.Ф. Словарь морфем русского языка. М. Русский язык, 1986.
Тихонов А.Н. Морфемно-орфографический словарь: Русская морфемика. М. Школа-Пресс, 1996 SRILM - The SRI Language Modeling Toolkit. http://www.speech.sri.com/projects/srilm.