Технологии мониторинга, гуманитарной экспертизы и социального аудита образовательных систем презентация

им. А. И. Герцена

Трапицын Сергей Юрьевич
зав. кафедрой управления образованием
и кадрового менеджмента
РГПУ им. А.И. Герцена
trapitsin@gmail.com

соответствия желаемому результату или первоначальным предположениям – наблюдение, оценка и прогноз состояния окружающей среды в связи с деятельностью человека»

Мониторинг -

сложного объекта или деятельности для определения тенденций изменения параметров.

Мониторинг — систематический сбор и обработка информации, которая может быть использована для улучшения процесса принятия решения, а также, косвенно, для информирования населения или прямо как инструмент обратной связи в целях осуществления проектов, оценки программ или выработки политики.

среды, в отношении которых будет выработан курс действий на будущее;
устанавливает отношения со своим окружением, обеспечивая обратную связь;
устанавливает соответствия правилам.

– регулярность анализа процессов;
 презентационная – представление органам власти и общественности результатов деятельности системы;
накопительная – продолжительное формирование баз данных о системе;
 нормативная – разработка и коррекция системы показателей, характеризующих процессы в системе и эффективность реализации управленческих решений в ней;
формирующая – формирование заказа на мониторинговые исследования;
 прогностическая – прогноз развития системы на среднесрочную и долгосрочную перспективу.

тенденциях развития объекта
сбор, накопление, обработка, систематизация информации о состоянии и развитии объекта
обеспечение регулярного и наглядного представления информации о процессах, происходящих в объекте
информационное обеспечение управленческих решений

состояния

полнота

Оперативность

Развитие

между качественными и количественными оценками

многократно повторяемой их регистрации.

Непрерывность, или перманентность – хронологически упорядоченная последовательность актов регистрации и анализа эмпирических данных

Автоматизация – автоматическая (компьютерная) обработка фактических данных

специалистов.
3. Изменение экспертов в процессе мониторинга.
4. Статистическая регрессия.
5. Цикличность.
6. Отбор объектов.
7. Значимость индикатора и его смещение.
8. Нарушение в информационных потоках.
9. Различные уровни мотивации участников мониторинга.

под влиянием отношений окружающих.
12. Групповая фальсификация результатов.
13. Изменение группы в процессе проведения мониторинга.
14. Естественное развитие.
15. Социально-территориальные и иные особенности объекта мониторинга.
16. Разные события для разных групп.
17. Различия во внутренней жизни групп.

Реакция на мониторинговое обследование.
20. Интерференция воздействий.
21. Синергизм.
22. Компенсаторность.

параметров объекта проводится с использованием системы хорошо разработанных и общепринятых критериев или индикаторов
измерение проводится опосредованно, с привлечением технологий научного исследования

соответствующих областей деятельности
ориентирован на конкретные органы управления, руководителей, отдельные структуры

уровень
межстрановой уровень

подхода (модель «вход-выход»)
модель измерения изменений

образования и за её пределами;

Мониторинг, обосновывающий уже принятое управленческое решение, когда в образовательной политике то или иное решение сложилось, вызрело, но его надо чётче обосновать, скорректировать детали;

Мониторинг, подготавливающий управленческое решение в определённой проблемной ситуации, когда нужно представить на выбор веер решений с прогнозируемыми их последствиями.

мониторинге задач;
содержание информации, необходимой для проведения оценки;
инфраструктуру мониторинга (кто и когда будет привлечен к проведению оценки, кто будет собирать информацию и пр.);
технологию мониторинга (какими методами и откуда будут получены данные, какие методы анализа информации будут применяться);
ресурсное обеспечение мониторинга (какие ресурсы понадобятся для проведения работ, сколько времени понадобится и т.д.).

В практике управления образованием в силу сложности и многоплановости задач нет единой и общепризнанной методики оценки состояния и развития системы образования. В настоящее время можно говорить лишь о подходах к построению системы показателей, определяющих общие принципы и логику мониторинга.

целом и ее компонентов. Имеют количественное (абсолютное и относительное\долевое) выражение в соотношении к показателям состояния системы на момент оценки, а также в отношении к показателям достижения планируемого результата развития. Имеют пространственный, временной и структурный разрезы. За базу также могут браться значения показателей состояния образовательных систем других стран или индексы показателей, установленные международным сообществом в качестве норм.
Индикаторы прогноза – характеризуют вероятностные изменения состояния системы педагогического образования,
или
Индикаторы окончательных результатов
Индикаторы промежуточных результатов
Индикаторы процесса
Индикаторы средств и ресурсов
Индикаторы риска/благоприятных факторов

средства

целевые показатели индикаторы
показатели результативности выполнения

относительно базового периода или абсолютные цифры)
Статистика и учет, отчетность
Социологические опросы и внутренний мониторинг
Внешний социологический мониторинг
Заключение – справка о результатах реализации стратегии со стороны стратегических партнеров
PR-сопровождение реализации стратегии

действующая система сбора, хранения и анализа информации, проведения дополнительных информационно-аналитических обследований и оценки состояния, тенденций, рисков и прогноза развития образования, используемая при принятии управленческих решений в сфере образования
А.Н. Майоров
Мониторинг качества образования – это отслеживание на постоянной основе поведения объекта (качества образования), фиксация по определенным критериям и параметрам его состояния и возникающих проблем, осуществляемых на основе систематизации и обработки соответствующих источников информации или на основе специально разработанных и проведенных исследований и измерений.

Мониторинг качества образования - информационная, диагностическая, научная, прогностическая система, реализация которой осуществляется в рамках управленческой деятельности.

способ исследования реальности
способ обеспечения сферы управления информацией

экономики и открытого общества.
2. Борьба с бедностью путем повышения справедливости системы образования.
3. Финансирование системы образования.
4. Более эффективное использование ресурсов.
5. Пересмотр порядка управления системой и ее подотчетности.

Основные группы целей мониторинга :
1. Цели качества/эффективности: «повышение качества и эффективности систем образования».
2. Цели справедливости: «обеспечение всеобщего доступа к образованию».
3. Цели управления: «открытие систем образования для более широкого мира».

которого функционирует система образования — муниципального, регионального или национального уровня.
В. Показатели, характеризующие состояние и тенденции развития системы образования.
С. Оценка системы образования.
D. Обобщающие, сопоставительные и прогнозные характеристики системы образования.

а именно индикаторы эффективности образования, индикаторы доступности образования, индикаторы качества образования. Этот раздел должен включать: содержание подготовки, лицензирование учреждения, качество подготовки.
Второй раздел показателей должен дать характеристику системы образования и оценку основных параметров деятельности вуза по уровням образования: бакалавриату, магистратуре, аспирантуре, докторантуре, дополнительному профессиональному образованию.
Третий раздел должен включать индикаторы ресурсного обеспечения образования: кадры, материально-техническую и информационную базу, финансы.
Четвертый раздел системы индикаторов должен дать представление о социально-демографическом фоне и включать проблемные блоки: демография и образование, социальные аспекты и образование, рынок труда и образование.
Пятый раздел учитывает эффективность управления учреждениями системы образования.
Шестой раздел должен представлять специально выделенные актуальные проблемы, например, проблему дефицита квалифицированных кадров для инновационного развития системы образования.

вуза как ведущего центра подготовки специалистов для…», «системный вывод образовательных технологий на уровень международных стандартов с учетом Болонского процесса»)
Отсутствие прямой /очевидной связи между реализуемым мероприятием и показателями результативности (количество диссертаций как результат укрепления материальной базы)
«Размытость» уровня достижения показателей («совершенствованные, модернизированные, улучшенные курсы / лаборатории / условия)
Разовое измерение достижения показателей только по завершении всей программы
Отсутствие корреляции между показателями результативности программ и инновационным потенциалом вуза, прописанным в заявке

Glance
Всемирные показатели образования – World Education Indicators
Международная стандартная классификация образования

Mathematics and Science Study) проводится Международной Ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achivements)
Международный проект «Изучение качества чтения и понимания текста» PIRLS (Progress in International Reading Literacy Study) – мониторинговое исследование, организованное Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement).
Международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment) осуществляется ОЭСР (OECD – Organization for Economic Cooperation and Development).
Международное исследование по граждановедческому образованию CIVIC организовано Международной Ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Education Achievements).
Международное исследование по оценке подготовки школьников 9- и 13-летнего возраста по естественно-математическим предметам IAEP проводится под руководством Американского центра педагогического тестирования ETS (Educational Testing Service).
Международное исследование по информационной компетентности ICILS (International Computer and Information Literacy Study) организовано Международной Ассоциацией по оценке учебных достижений IEA.

по математике и естествознанию в странах с различными системами образования, выявление особенностей образовательных систем, определяющих различные уровни достижения учащихся.

В соответствии с программой исследования изучается подготовка выпускников начальной школы и учащихся 8 классов по математике и естествознанию. Кроме того, проводится анкетирование учащихся, их учителей и администрации школы, позволяющее выявить факторы, влияющие на качество образования, сравнить содержание образовательных стандартов с требованиями, предъявляемыми к общеобразовательной подготовке учащихся в разных странах.

школы в различных странах мира, а также выявляет различия в национальных системах образования. Исследование проводится один раз в пять лет.
Цель участия - получить ответы на ряд вопросов:
•  Насколько хорошо читают выпускники начальной школы по сравнению со своими сверстниками в других странах? •  Какими уровнями читательской грамотности владеют школьники? •  Любят ли учащиеся читать? •  Как семья способствует развитию грамотности? •  Как на сегодняшний день организован процесс обучения чтению в школах? •  Отличаются ли методы обучения, которые используют учителя в разных странах?
В исследовании оцениваются два вида чтения:
чтение с целью приобретения читательского литературного опыта; - чтение с целью освоения и использования информации.
Оцениваются четыре группы читательских умений:
- нахождение информации, заданной в явном виде; - формулирование выводов; - интерпретация и обобщение информации; - анализ и оценка содержания, языковых особенностей и структуры текста.

знаниями и умениями, необходимыми для полноценного функционирования в обществе. Дополнительно к оценке образовательных достижений изучается влияние на эти достижения различных факторов, связанных с учащимися и их семьями, школой и образовательными возможностями, существующими вне школы. Объектом исследования являются образовательные достижения учащихся 15-летнего возраста. Исследование проводится по трем основным направлениям: «грамотность чтения», «математическая грамотность» и «естественнонаучная грамотность». Особое внимание уделяется оценке овладения учащимися общеучебными и интеллектуальными умениями. Исследование проводится трехлетними циклами. В каждом цикле основное внимание (две трети времени тестирования) уделяется одному из трех указанных выше направлений исследования. По двум другим получается обобщенная характеристика грамотности учащихся в данной области.

грамотность.
Каждое из направлений соответствует определенным школьным предметам.
Особое внимание уделяется пониманию учащимися основных понятий, овладению ими основными методами, изучаемыми в рамках указанных направлений, и умению использовать свои знания в разнообразных ситуациях.
Проверке овладения конкретным содержанием учебных дисциплин не уделяется много времени. Основное время отводится изучению состояния более широких знаний и умений, необходимых во взрослой жизни и приобретенных при изучении школьных предметов, а также оценке межпредметной компетентности учащихся (использованию знаний, полученных в рамках изучения различных предметов или из других источников информации, для решения поставленной задачи).

размышлять о них и заниматься чтением для того, чтобы достигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни.

деятельность, относящаяся к проверке качества и ее результаты:
соответствуют запланированным предписаниям
эти предписания успешно внедрены и
они пригодны для того, чтобы достигать установленных целей

норме;
Аудит – это проверка соответствия норме, которая проводится по заказу лица, принимающего решение;
Аудит – это проверка соответствия норме, которое проводится компетентными специалистами (аудиторами);
Аудит – это проверка соответствия норме, итогом которого является заключение аудита, необходимое для принятия решения;
Аудит – это проверка соответствия норме, заключение по которому опирается на свидетельства аудита (факты)

Критерии аудита используются в качестве ориентира, с которым сравниваются свидетельства аудита (3.3).
3.3. свидетельство аудита - записи, изложение фактов или другая информация, которая связана с критериями аудита (3.2) и может быть проверена
Примечание. Свидетельство аудита могут быть качественными или количественными.
3.4. наблюдения аудита - результат оценки свидетельства аудита (3.3) в соответствии с критериями аудита (3.2)
Примечание. Наблюдения аудита могут указывать на соответствие или несоответствие критериям аудита или на возможности улучшения.
3.5. заключение по результатам аудита - выходные данные аудита (3.1), предоставленные аудиторской группой (3.9) после рассмотрения целей аудита и всех наблюдений аудита (3.4)

(3.1)
Примечание. Заказчиком может быть проверяемая организация (3.7) или любая другая организация, которая имеет регламентирующее или контрактное право на заказ аудита.
3.7. проверяемая организация - организация, подвергающаяся аудиту
3.8. аудитор - лицо, обладающее компетентностью (3.14) для проведения аудита (3.1)
3.9. аудиторская группа - один или несколько аудиторов (3.8), проводящих аудит (3.1), которым, при необходимости, помогают технические эксперты (3.10).
Примечание 1. Один из аудиторов, входящих в аудиторскую группу, назначается ее руководителем.
Примечание 2. Аудиторская группа может включать аудиторов, проходящих подготовку (стажеров)
3.10. технический эксперт - лицо, предоставляющее аудиторской группе (3.9) специальные знания или опыт
Примечание 1. Специальные знания или опыт – это то, что относится к организации, процессу или деятельности, подлежащей проверке, языку или культуре страны.
Примечание 2. Технический эксперт не выступает в качестве аудитора в аудиторской группе.

(3.1), запланированных на конкретные сроки и направленных на достижение определенной цели.
Примечание. Программа аудита включает все виды деятельности, необходимые для планирования, организации и выполнения аудитов.

3.12. план аудита - описание видов деятельности и мероприятий аудита (3.1)

3.13. объем аудита - содержание и границы аудита (3.1)
Примечание. Объем обычно включает описание физического расположения, организационных единиц, деятельности и процессов, а также охватываемый период времени.

3.14. компетентность - продемонстрированные личные качества и способность применять свои знания и умения

действием
Записи о качестве

Необходимы ли изменения?
Адекватны ли процедуры?
Точны ли процедуры?
Работают ли процедуры?

Есть ли система качества?
Проверяется ли она постоянно?
Проводится ли анализ?
Совершенствуется ли СМК постоянно?
Соответствует ли СМК стандарту?

Обеспечить обратной связью
Работает ли система?
Эффективна ли она?
Необходимы ли изменения?

Понимается ли СМК?
Ведётся ли за ней наблюдение?
Точно ли задокументирована СМК?
Адекватны ли процедуры?

процессу аудита

Независимость
Подход, базирующийся на доказательствах

(проверки) через запланированные интервалы с целью установления того, что система менеджмента качества:
a) соответствует запланированным мероприятиям, требованиям стандарта и требованиям к системе менеджмента качества, разработанным организацией;
b) внедрена результативно и поддерживается в рабочем состоянии.
Ответственность и требования к планированию и проведению аудитов, а также к отчету о результатах и поддержанию в рабочем состоянии записей должны быть определены в документированной процедуре.
Последующие действия должны включать верификацию предпринятых мер и отчет о результатах верификации.

области качества, стратегии развития, целям и задачам в области качества (для документов нижнего уровня – требованиям вышестоящих документов);

Соответствие процедуре управления документацией;

Качество документации (доступность, правильность формулировок, четкость изложения, полнота и пр.);

Наличие документации на рабочих местах

Календарный план проверки подразделений;
Задание на проведение аудита;
План проведения аудита;
Контрольные листы аудита;
Отчет о результатах аудита;
План корректирующих действий;
Протокол выполнения корректирующих действий

согласование даты аудита
Подготовка членов команды
Подготовка чек-листов
Проверка готовности команды
Подготовка форм и др. документов
Информирование руководителя подразделения

наименование объекта аудита
область аудита
цель и задачи аудита
дата начала и продолжительность аудита
список аудиторской группы
перечень критериев и список документов, на соответствие которым будет проводится аудит

проведения
Разработка бланка контроля (check list) или анкеты качества
Проведение аудита
Вводная беседа
Первичная проверка документации
Проверка на месте
Итоговая беседа
Подведение итогов аудита
Составление заключения о проведенном аудите

это исследование, которое проводится по заказу лица, принимающего решение;
Экспертиза – это исследование, которое проводится компетентными специалистами (экспертами);
Экспертиза – это исследование, итогом которого является экспертное заключение, необходимое для принятия решения;
Экспертиза – это исследование, заключение по которому опирается на конкретные факты;
Экспертиза – это исследование, результаты которого носят доказательный характер

(рынка востребованности) экспертизы;
принятие правовых и нормативных актов, вводящих институт экспертизыи регулирующих ее реализацию;
продвижение экспертизы в общественном сознании.

практических представлений

СМОТРЮ: феноменальный план

СЛУШАЮ: идеальный план

ПОНИМАЮ: план интерпретаций

ОСОЗНАЮ: рефлексивный план

педагогической деятельности;
экспертизу экспериментальной деятельности;
экспертизу инновационной деятельности;
экспертизу качества образования.

регламенты и нормативные документы;
процедуры аттестации;
образовательные стандарты
Третья группа:
учебные программы и планы;
учебники и УМК
Четвертая группа:
модели ОУ;
педагогические технологии;
модели управления образованием