Тезаурус РуТез: структура и приложения презентация

широкие предметные области для приложений автоматической обработки текстов
В различных приложениях полезно использовать знания о мире
Знания о мире сложным образом связаны с лексическими и терминологическими знаниями
Как построить понятийную модель широкой предметной области для приложений автоматической обработки текстов?

информационного поиска с 1994 года
Большой объем: тысячи слов и словосочетаний
Модель описания знаний о языке и мире должна быть:
«легкая»,
полезная в широком круге приложений
тестирование ресурса в приложениях
Созданные ресурсы:
Тезаурус РуТез,
Общественно-политический тезаурус
Онтология по естественным наукам и технологиями (ОЕНТ) и др.

исследований (АНО ЦИИ)
1994 – 1997 Институт США и Канады РАН
1997 – н/в Научно-исследовательский вычислительный центр МГУ им.М.В.Ломоносова

Университетская информационная система РОССИЯ (УИС РОССИЯ): три миллиона документов (нормативные акты, пресса, экономическая статистика)

коллекции» (RCDL) -- ПК
Российский семинар по оценке методов информационного поиска (РОМИП) -- ОК
Международная конференция «Компьютерная лингвистика и интеллектуальные технологии» (ДИАЛОГ) -- ОК
Cross Language Evаluation Forum (CLEF)(2003-2009) -- НК
European Conference on Research and Advanced Technology for Digital Libraries (ECDL) – ПК
Text-Speech-Dialog conference (TSD) - ПК
SIGIR (2008) – ПК и др.

для ЦИК РФ (1997 -- н/в)
НПП Гарант-Сервис (2002 – н/в)
ИК «Кодекс» для УОПИ ФСО РФ (2007 – 2008)
в/ч 43753 (2000 – 2007)
Банк России (2006 – н/в)
Счетная палата (2003)
Министерство образования; ГУМЦ «Базис» (2003, 04)
«Аплана» (2006, 2008)
ИППИ РАН для Управления спецпрограмм (1996)
«Гранит-Центр» (2006), НИЦ «Квант» (2003), НТЦ «Атлас» (2001)

рубрикация текстов
Несколько десятков рубрикаторов
Автоматическая кластеризация текстов
Автоматическое реферирование текстов
Одного документа, многих документов, составление аналитических отчетов
Системы мониторинга

Тезауруса
Принципы установления
Используемые типы отношений
Приложения автоматической обработки текстов

53 тыс. понятий, 156 тыс. текстовых выражений, 210 тыс. отношений (более 2 млн. с иерархией)

Переведен на английский язык: 130 тысяч слов и выражений

т.д.
Общественно-политический тезаурус
Общественно-политическая область – жизнь современного общества
Состав: экономика, финансы, оборона, законодательство, научная политика, спорт, искусство, военные конфликты и др

тысяч терминов
140 тысяч прямых отношений (1,1 млн. наследуемых)
предметная область – проблемы современного общества
типы обрабатываемых текстов – официальные документы, международные договора, законы, газетные статьи, новостные сообщения
Состав: термины и тематическая лексика

по естественным наукам и технологиям

типа WordNet
Подробное включение отдельных лексических единиц
Аккуратное описание многозначности
Формальные онтологии
Отличимость понятий
Формальные свойства отношений

понятий
Квазисинонимы
Близкие значения многозначных слов

Понятие должно быть отличимо от близких понятий
Однозначно понимаемое имя
Набор текстовых входов
Набор отношений
Название понятия
Единое представление для:
нетематической лексики,
тематической лексики, терминологии

БОЛИД, КОСМИЧЕСКИЙ БОЛИД
Неоднозначное словосочетание с пометой:
КАБАЧОК (РАСТЕНИЕ), КАБАЧОК (ПЛОД)
Пара синонимов – текстовых входов понятия через запятую:
ИРРАЦИОНАЛЬНЫЙ, ЛОГИЧЕСКИ НЕОБЪЯСНИМЫЙ

Имя должно быть однозначно, понятно, отражать особенности понятия.

это необходимо для отражения новой информации

синонимы: приватизировать – передать в частные руки;
многозначное становится однозначным: положение дел, состояние дел
дополнительная структуризация сети
сельский дом: вилла, дача;
автомобиль
автомобильные гонки
автогонщик (пилот)

являющиеся текстовыми входами к одному и тому же понятию тезауруса
Разные части речи – дериваты могут быть текстовыми входами одного и того же понятия
Назовем совокупность текстовых входов к одному и тому же понятию – онтологическими синонимами
Специальные усилия на поиск многословных вариантов – снижение многозначности
Формирование обширных синонимических рядов – стабильность распознавания понятия в текста

СРЕДЫ
ЗАЩИТА ПРИРОДЫ
ОХРАНА ОКРУЖАЮЩЕЙ ПРИРОДНОЙ СРЕДЫ
ОХРАНА ПРИРОДНОЙ СРЕДЫ
ОХРАНА ПРИРОДЫ
ОХРАНЯТЬ ПРИРОДУ
ПРИРОДОЗАЩИТА
ПРИРОДОЗАЩИТНЫЙ
ПРИРОДООХРАНА
ПРИРОДООХРАНИТЕЛЬНЫЙ
ПРИРОДООХРАННЫЙ

различий:
1) в память о конкретном человеке обычно ставится памятник, о группе людей – и памятник, и монумент, о событии – монумент; идеи воплощаются в монументах;
2) у монументов есть способность увековечивать подвиг живых людей
3) по форме сооружения памятник часто представляет собой изображение увековечиваемого объекта,
4) монумент обычно больше по размерам и т.п..
Достаточны ли эти различия, чтобы ставить в соответствие этим словам отдельные понятия?

отношения с другими близкими понятиями онтологии
Проверка примеров показывает, что нет разделяющего свойства для сущностей монумент и памятник:
Маргарет Тэтчер, которой в Британии при жизни поставили памятник, узнала…
Авторы словаря: различия нейтрализуются при повторной, сокращенной номинации того же сооружения
Монумент, памятник –> одно понятие онтологии

шофер управляет только автомобилем или автобусом, водитель и другими транспортными средствами
Следовательно, вагоновожатый – водитель, но не шофер (в любом контексте)
Должно быть два понятия в онтологии:
ВОДИТЕЛЬ ТРАНСПОРТНОГО СРЕДСТВА (водитель)
ВОДИТЕЛЬ АВТОМОБИЛЯ (водитель, шофер)
Дополнение: шофер – обычно профессиональный работник!

соответствует двум понятиям: пилот – ЛЕТЧИК, АВТОГОНЩИК
Нужно выбрать значение
А-многозначность – в тезаурусе описано одно значение, но известно, что могут быть другие значения (пометка):
Львов – ЛЬВОВ (ГОРОД)
Нужно подтвердить/отвергнуть употребление значения

Число многозначных единиц в Тезаурусе РуТез
- 16 тысяч многозначных слов и выражений

на колесах, инсоляция, национал-сепаратизм, тайский бокс, автолестница, единый госэкзамен, пожарный спринклер

Пропущенные отдельные слова общей лексики
Скривить, петься, минование, миролюбивость, неравнодушие, небезразличие, зыбкий

Словосочетания, уточняющие значения слов
Пойти под откос, остаться в стороне, замыть пятно, не обидеть способностями, тяжело даваться

произвольные набор предикатов
Но:
Большие затраты труда для широкой ПО
Непонятно, какой набор оптимален
Контекстная зависимость

упоминания понятия в тексте
Возможности систем автоматической обработки текста для анализа релевантности контекста ограничены

Необходимо найти и описать для понятия те отношения, которые выполняются для понятия практически всегда:
для всех или большинства примеров понятия
в течение всего (или почти всего) времени существования примера
Нужно описывать надежные отношения

отношение Должно быть действительно для всех примеров понятий и все время их существования => Транзитивность, наследование
отношение ЧАСТЬ-ЦЕЛОЕ – традиционные части, участники ситуации, свойства НО!! Должно быть действительно для всех примеров понятий-частей и все время их существования => Транзитивность
внешняя онтологическая зависимость - несимметричная ассоциация – асц2
Симметричная ассоциация – для очень похожих понятий

– это часть Y
Изменение Х (или совокупности Х) влечет изменение Y
Отношение действует на протяжении большей части нормального существования примера X или это основная альтернатива

Для нас: колесо – не есть ЧАСТЬ автомобиля: автомобильное колесо – ЧАСТЬ автомобиля
инвестор – это ЧАСТЬ для инвестирование

зал

Грузоподъемность – транспортное средство
Калорийность - пища
Водоизмещение- судно

Инвестор - инвестирование
Очиститель - очистка
Дубильщик - дубление

судебный процесс – судопроизводство – судебная система

Аптекарь – аптека – лекарственное обеспечение – медицинская помощь – медицина – здравоохранение

бы без существования понятия Y
Внешняя зависимость:
- понятие X зависит от понятия Y,
- экземпляры Y не являются всегда частями или свойствами экземпляров X
Примеры:
понятие гараж зависит от понятия автомобиль
Понятие автостроение зависит от понятия автомобиль
Обозначаем направленной ассоциацией: АСЦ1, АСЦ2

Дерево – часть Леса
Но: дерево не всегда в лесу, а лес всегда состоит из деревьев

Понятие ЛЕС – зависит от понятия ДЕРЕВО

зависит_от  АВТОМОБИЛЬ (назначение?)
РЕКА зависит_от ПРЕСНАЯ ВОДА (часть?)
ГИДРО- ЭЛЕКТРОСТАНЦИЯ зависит_от РЕКА (источник?)
ЛЕС зависит_от ДЕРЕВО (часть?)
ЛЕСНИЧЕСТВО зависит_от ЛЕС (место?)
КИПЕНИЕ зависит_от ЖИДКОСТЬ (пациенс?)

Семантические названия отношениям концептуальной зависимости придумать непросто, и они были бы достаточно разнообразны

ПОРОДА; ЛЕСОХОЗЯЙСТВЕННАЯ КУЛЬТУРА)
ЛЕСНАЯ ПОЧВА (ЛЕСНАЯ ПОДСТИЛКА)
ЛЕСНЫЕ ЗЕМЛИ (ЛЕСНЫЕ УГОДЬЯ; ЛЕСНАЯ ТЕРРИТОРИЯ; ЛЕСОРАСТИТЕЛЬНЫЙ РАЙОН; ЛЕСОРАСТИТЕЛЬНАЯ ЗОНА; ЛЕСОПОКРЫТЫЕ ПЛОЩАДИ; ЛЕСОПОКРЫТЫЕ ЗЕМЛИ; ЗЕМЛИ ЛЕСНОГО ФОНДА; ЗЕМЛИ, ПОКРЫТЫЕ ЛЕСОМ; ПОКРЫТЫЕ ЛЕСОМ ПЛОЩАДИ)
ОПУШКА (ОПУШЕЧНЫЙ)
ПОДЛЕСОК (ПОДЛЕСОЧНЫЙ)
ПОДРОСТ (МОЛОДНЯК)
ПРОДУКТИВНОСТЬ ЛЕСА (БОНИТЕТ ЛЕСА)
СУХОСТОЙ (СУХОСТОЙНЫЙ)

(НАУКА О ЛЕСЕ)

ЛЕСОВЛАДЕНИЕ

ЛЕСОПОЛЬЗОВАНИЕ (ЛЕСНОЕ ПОЛЬЗОВАНИЕ; ПОЛЬЗОВАНИЕ УЧАСТКАМИ ЛЕСНОГО ФОНДА)

(Общественно-политический тезаурус точность > 75% - грант Яндекса 2005)

Тематический анализ
Выделение основной темы текста
Учет близких по смыслу понятий для вычисления веса понятия
Концептуальный индекс с весами

помощи
на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений
военнослужащим и гражданам, уволенным с военной службы
Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской
Федерации п о с т а н о в л я е т :
1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений
военнослужащим и гражданам, уволенным с военной службы.
2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба:
в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем)жилых помещений;

| ВОЕННАЯ СЛУЖБА; ВОЕННОСЛУЖАЩИЙ; ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ |
****| |
| |
| +------------------------------------------------------------------+
| | ЖИЛОЕ ПОМЕЩЕНИЕ; НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ; ОБЕСПЕЧЕННОСТЬ ЖИЛЬЕМ; |
****| X | КВАРТИРА; ЖИЛИЩНАЯ НОРМА; КОМНАТА (ПОМЕЩЕНИЕ); ЗДАНИЕ; |
| | ЖИЛОЕ ЗДАНИЕ; ЖИЛАЯ ПЛОЩАДЬ |
| | +--------------------------------------------------------------+
| | | ФИНАНСОВАЯ ПОМОЩЬ; |
****| z | z | |
| | | +----------------------------------------------------------+
| | | | ГРАЖДАНИН |
****| X | z | . | |
| | | | +------------------------------------------------------+
| | | | | УВОЛЬНЕНИЕ; |
****| X | z | . | X | |
| | | | | +--------------------------------------------------+
| | | | | | СТРОИТЕЛЬСТВО; ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО; |
****| . | X | z | . | . | ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ; |
| | | | | | +----------------------------------------------+
| | | | | | | ФЕДЕРАЛЬНЫЙ ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; |
****| X | . | z | . | . | . | ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; ПРАВИТЕЛЬСТВО; |
| | | | | | | ПРАВИТЕЛЬСТВО РОССИИ; МИНИСТЕРСТВО ОБОРОНЫ; |
| | | | | | | +------------------------------------------+
| | | | | | | | ПОКУПКА; ДЕНЬГИ; ПЛАТИТЬ; |
****| z | X | z | . | . | z | z | |

рубрикация текстов
Более 20 рубрикаторов
Автоматическое аннотирование
Аннотирование одного документа,
Обзорный реферат
Обработка потоков новостей, информационный мониторинг
Кластеризация документов

технологии их применения для решения различных задач автоматической обработки текстов и информационного поиска

Наши выводы:
Структура тезауруса, онтологии должна быть специально адаптирована к задачам автоматической обработки текстов
Тезаурусные технологии не должны противопоставляться современным технологиям пословной обработки текстов, а органично учитывать последние достижения в этой сфере
При учете таких условий применение тезаурусов дает значимое улучшение качества решения задачи по сравнению с лучшими пословными методами