Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО презентация

Содержание

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования 1. Формирование профессионального сообщества на федеральном и региональном уровнях: федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи

Слайд 1Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества

образования Г.С.Ковалева, ИСМО РАО

Слайд 2 Опыт участия в международных исследованиях и создание общероссийской системы оценки

качества образования

1. Формирование профессионального сообщества на федеральном и региональном уровнях:
федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи /математика, русский язык, обществознание, физика, химия, биология, география/; региональный уровень – организаторы ЕГЭ, специалисты аттестационных служб и др.

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов

Слайд 3 Опыт участия в международных исследованиях и создание общероссийской системы оценки

качества образования

2. Разработка КИМ - создание заданий нового типа, технология разработки, статистические анализ заданий и КИМ, обеспечение качества КИМ.
3. Использование подходов и программного обеспечения для шкалирования и обработки данных

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов

Слайд 4 Опыт участия в международных исследованиях и создание общероссийской системы оценки

качества образования

4. Проведение вторичного анализа данных исследований TIMSS-2003 PISA-2003 (например, выявление факторов, связанных с эффективностью образования)
5. Установление профессиональных контактов со специалистами стран, участвующих в международных исследованиях (например, Финляндия, Норвегия, Германия, Япония, Тайвань, страны СНГ и Балтии и др.)

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов

Слайд 5Информация об исследованиях: цели и задачи
Исследование TIMSS (более 65 стран)
Оценить качество

математического и естественнонаучного образования в начальной, основной и средней школе
Выявить динамику в результатах (1995, 1999, 2003, 2007, 2008)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование PISA (57 стран)
Оценить обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни
Выявить динамику в результатах (2000, 2003, 2006)
Выявить факторы, позволяющие объяснить различия в результатах

Слайд 6Информация об исследованиях: цели и задачи
Исследование PIRLS (40 стран)
Оценить качество чтения

и понимания текстов в начальной школе
Выявить динамику в результатах (1991, 2001, 2006)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование ICES (?)
Оценить качество граждановедческого образования в средней школе
Выявить динамику в результатах (1999, 2000, 2008)
Выявить факторы, позволяющие объяснить различия в результатах

Слайд 7Информация об исследованиях: цели и задачи
Исследование TEDS (более 20 стран)
Оценить качество

педагогического образования в области математики (программы обучения, учебный процесс, подготовка будущих учителей)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование SITES (более 20 стран)
Изучить опыт использования информационных технологий в образовании

Выявить факторы, связанные с эффективным использованием ИКТ в обучении

Слайд 8Организаторы и участники

Исследования TIMSS, PIRLS, ICES, TEDS
Международная Ассоциация по оценке

образовательных достижений - IEA
Более 65 стран

Исследование PISA
Организация экономического сотрудничества и развития - OECD
Около 60 стран

Слайд 9Организация исследования PISA

Слайд 10Международные исследования в в России в 2006 году

Исследования:
PIRLS (основное исследование-

46 регионов, 232 школы, 4955 учащихся 3-4 классов)
TIMSS (апробационное исследование - 3 региона, около 3000 учащихся 4 и 8 классов, разработка инструментария для исследования TIMSS-2008, углубленное изучение математики и физики)

Исследование PISA
(основное исследование – 46 регионов, 210 образовательных учреждений, 6154 учащихся 15-летнего возраста)

Слайд 11Организационная схема мониторинга образовательных достижений (общее образование)

Слайд 12Организационная схема мониторинга образовательных достижений (общее образование)

Слайд 13 Организационная схема мониторинга образовательных достижений (общее образование)

Слайд 14Особенности разработки инструментария мониторинговых исследований качества образования (на примере международных сравнительных

исследований PISA, PIRLS и TIMSS)

Слайд 15Общие требования к разработке инструментария
Требования в соответствии с целевыми установками исследования:
Разработанный

инструментарий должен соответствовать выбранной модели образовательной системы и позволять:
Оценить образовательные достижения в соответствии с принятыми стандартами, таксономией и т.д.
Получить информацию о факторах, влияющих на образовательные результаты;
Установить динамику в изменении образовательных достижений и образовательного контекста;
Получить данные для управления качеством образования;
Получить данные, необходимые для совершенствования системы образования

Слайд 16Модель системы образования

Слайд 17Система инструментария исследования TIMSS

Слайд 18Общие требования к разработке инструментария
Требования теории педагогических измерений:
Соответствие выбранной модели измерения


Валидность по отношению к проверяемому содержанию образования
Надежность оценки
Наличие качественных статистических характеристик, позволяющих выстраивать измерительные шкалы (тесты и анкеты)

Слайд 19Общие требования к разработке инструментария
Учет особенностей проведения:
Соответствие возрастным особенностям учащихся
Обеспечение

стандартизации процедуры проведения тестирования
Качество инструкций
Качество полиграфии

Слайд 20Общие требования к разработке инструментария
Ориентация на форму представления результатов (средние значения,

результаты по уровням, по отдельным содержательным областям и уровням учебно-познавательной дея.)
Учет финансовых и организационных возможностей.

Слайд 21Пример инновационных подходов Разработка заданий нового типа

Слайд 22Формирование представительной выборки учащихся в международных исследованиях PIRLS и PISA

Слайд 23Зачем необходима выборка?
Невозможно провести тестирование всех учащихся по всему изученному материалу
Более

2 млн. учащихся
Более 200 требований стандарта по предмету (более 1000 заданий)
Значительные финансовые и материальные затраты
Нет необходимости проводить тестирование всех учащихся по всему изученному материалу
Теория формирования выборки
Современная теория тестов (IRT)
Последствия:
При анализе результатов необходимо учитывать характеристики, связанные с выборкой (вес, ошибка выборки и др.)

Слайд 24 Определение целевой совокупности (генеральной совокупности). 2 подхода
Подход 1: Выборка, ориентированная на

год обучения (класс)
Исследование PIRLS:
Все учащиеся страны четвертого года обучения в школе (ISCED Level 1)
Средний возраст учащихся 9,5 лет
В России: выпускники начальной школы 4-го класса (по программе 1-4) и 3-го класса (по программе 1-3), средний возраст - 10,3 лет (2001 г.), - 10,6 лет (2003 г.)
В большинстве стран: учащиеся 4 класса, средний возраст 10,3 лет (2001, 2003 г.)

Слайд 25Определение целевой совокупности (генеральной совокупности). 2 подхода
Подход 2: Выборка, ориентированная на

возраст
Исследование PISA:
Все обучающиеся страны 15-летнего возраста (1990 г. рождения) (ISCED Levels 2-3)
В России: учащиеся 7-11 классов средней школы, студенты ОУ НПО и СПО

Слайд 26Совокупности и исключения
Исключения на уровне школ
Исключения на национальном уровне

Исключения внутри

школы

Международная планируемая совокупность

Национальная планируемая совокупность

Национальная исследуемая совокупность

Реальная совокупность

Слайд 27Стандарты формирования выборки: 1
Исследование PIRLS и PISA
Выборка считается представительной, если исключения

разного уровня не превышают 5%.
Исключения на национальном уровне:
географически удаленные школы (PISA – менее 0,5%),
очень малые школы (только PIRLS)
Исключения на уровне школ (учащиеся с недостатками умственного и физического развития, с неродным русским языком (обучение на русском языке менее 1 года) не должны превышать 2,5%
Общее исключение в исследовании PIRLS – 4,9%
Общее исключение в исследовании PISA - 2,96% (0,96% - специальные и коррекционные школы, до 2% исключения на уровне ОУ)

Слайд 28Стандарты формирования выборки: 2
Исследование PISA
Выборка считается представительной, если коэффициент участия ОУ

не менее 85% от отобранных ОУ и не менее 80% от всех отобранных учащихся
Исследование PIRLS
Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся

Слайд 29Эффективный размер выборки Число школ и учащихся
Определяется структурой собираемых данных
Зависит также от

требуемой точности измерений, коэффициента внутриклассной корреляции, средней наполняемости класса и надежности теста.
Эффективный размер случайной выборки учащихся – 400
При доверительном интервале 95%
Средние значения с точностью +/- 0,1 станд. отк.
Проценты +/- 5
Корреляции +/- 0,1
Эффективный размер случайной стратифицированной выборки (собираются данные не только об учащихся, но и школах и классах) – 150 школ и 4500 учащихся

Слайд 30Размер выборки (PISA-2006)
Минимум 150 школ
Максимум 35 учащихся в образовательном учреждении
Размер выборки

– минимум 5250 учащихся

210 образовательных учреждений
Участвуют 35 учащихся 7-11 классов или 1-2 курсов ОУ НПО и СПО
Размер выборки – 6154 учащихся

Требования

Россия

Слайд 31Размер выборки (PIRLS-2006)

Требования

Россия
Минимум 150 школ
Минимум 1 класс в школе
2 класса выбирается

в целях сравнения результатов внутри школы
или
для достижения необходи- мого размера выборки
Участвуют все учащиеся выбранного класса
Размер выборки – минимум 4 000 учащихся

232 школы
1 класс в каждой выбранной школе



Участвуют все учащиеся выбранного класса
Размер выборки – 4955 учащихся

Слайд 32Состав выборки

ИсследованиеPISA

Исследование PIRLS
Из 210 образовательных учреждений:
Средние общеобразовательные школы - 141
Гимназии –

9
Лицеи - 2
Основные школы - 14
Вечерние школы – 12
Школа–интернат – 1
ОУ НПО – 13
ОУ СПО - 18

Из 232 школ:
Средние общеобразовательные школы – 182
Основные школы – 12
Начальные школы – 5
Гимназии и лицеи - 33



Слайд 33Этапы формирования выборки
Работа с базами ОУ регионов
- «чистка» базы
Формирование выборки ОУ
-

формирование выборок исследований PIRLS и PISA
- утверждение выборок в Международных координационных центрах PIRLS и PISA
Связь с образовательными учреждениями
- PIRLS: получение списков классов и учащихся
- PISA: получение списков обучающихся 1990 г.р.
Выбор участников исследований
- PIRLS: классов (учащихся)
- PISA: обучающихся 1990 г.р.
Ввод информации об участниках исследований
Подготовка документации для проведения тестирования в отобранных ОУ

Слайд 34Стратификация
Группировка ОУ согласно некоторым признакам.
Используется, чтобы:
улучшить дизайн выборки (сделать оценки выборки

более надежными);
привести в соответствие пропорциональную представительность разных групп в генеральной совокупности.

Слайд 35Стратификация
Переменные стратификации:
Регионы, районы;
Тип урбанизации (город-село)
Социо-экономический статус ОУ
Тип ОУ
Ступень обучения
и др.

Слайд 36Стратификация
Внутренняя
Внешняя
PIRLS, PISA: регион
(45 регионов –

45 страт)
Для каждого региона строится отдельный список ОУ
Выборка ОУ проводится внутри каждого региона

PIRLS:
Тип населенного пункта (9 уровней)
PISA:
Тип (4 уровня) и вид (16 уровней) образовательного учреждения; тип населенного пункта (9 уровней)



Слайд 37Технические стандарты международных исследований Обеспечение качества исследования

Слайд 38

Процедуры сбора данных
Обеспечение качества
Полученные в исследовании данные

Слайд 39Что включает система обеспечения качества исследования?
План исследования – Руководства по проведению,

контроль за адаптацией инструментария – NAF, QAS, и др.
Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования.
Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования
Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

Слайд 40Система обеспечения качества основана на соответствии стандартам качества
Консорциум контролирует качество проведения

исследования в соответствии с разработанными стандартами качества
Формирование выборки
Язык, на котором проводится тестирование
Участие в проведении апробационного исследования
Адаптация инструментария и руководств
Перевод инструментария и руководств
Проведение тестирования
Реализация национальной части исследования
Мониторинг качества
Тиражирование материалов
Проверка заданий с открытыми ответами
Анализ полученных данных

Слайд 41Источники данных об обеспечении качества проведения исследований
Выборка
Перевод и верификация
Проведение тестирования (MAS)
Мониторинг

качества
Мониторинг работы национального центра
Проверка работ (Перепроверка работ, Международная проверка),
Отправленные данные,
Адаптация (QAS, TAS)
Анализ проведения исследования (подготовка отчета)

Слайд 42Стандарты качества
Данные
В большинстве случаев данные должны соответствовать стандартам.
Подтверждение соответствия стандартам

Слайд 43Что происходит при несоответствии стандартам качества?
Решение зависит от :
Степени несоответствия стандартам


Наличия возможности исправления
Чистка данных
Проверка данных на соответствии качеству
Анализ данных при невозможности их исправить
Анализ изменений, внесенных консорциумом
Рекомендации по включению в международный отчет
Полная публикация
Публикация данных только частичная (в некоторых таблицах)
Публикация в Приложениях к отчету и др.

Слайд 44Пример вторичного анализа данных Эффективность ситемы образования

Слайд 45
Актуальная ситуация:
Запрос рынка труда на качественно новый результат школьного образования
Проблемы и

противоречия в системе образования

Несоответствие системы образования
новым социально-экономическим задачам

Слайд 46
Школы пытаются преодолеть этот разрыв с помощью:
авторских программ;
уровневого содержания образования;
новых

педагогических технологий;
новых форм организации процесса обучения;
и др. (кто как может).
Возросло число специфических внутренних задач, которые может ставить и решать каждая конкретная школа

Слайд 47Преодоление разрыва

Слайд 481. Исследование общих закономерностей
Без знаний и информации Вы – просто некто

со своим мнением …

Знание успешности обучения –
важнейший аспект …
Только этого мало!
Необходима информация о других параметрах образовательной среды.

Слайд 49Образовательная среда
Обычно оценивается в терминах "эффективности школы" как социальной системы -

эмоционального климата, личностного благополучия, особенностей микрокультуры, качества воспитательно-образовательного процесса и др.
Важным фактором школьной эффективности выступает организационный (обеспечивающий солидарность представлений учителей о своем профессиональном долге, их умение увязать личные педагогические философии как друг с другом, так и с учащимися, поддержку автономной инициативы учителей администрацией школы и др.).

Параметров так много, что в них легко потеряться!

Слайд 50
Чем же так хороши
(помимо четкой постановки целей и задач, отработанных

процедур проведения и обработки результатов)
международные исследования оценки качества образования?



Слайд 51
международные исследования оценки качества образования:

одновременно рассматривают большое количество различных образовательных систем.
применяют

современные математические многомерные методы, позволяющие объективно сравнивать полученные в разных странах результаты;
одновременно рассматривают большое число параметров образовательной среды, способствующих успешности обучения, тщательно отобранных на основании проводившихся ранее экспериментальных исследований;
Все это позволяет получить не разрозненные данные, а целостную картину.

Слайд 52Этапы оценки качества образования в школах
Успешность школ по результатам тестирования
Равные

возможности в обучении (измеряемые не столько результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования)
Устойчивость успешности в тесте по школам
Гендерные различия
Полученные основы для обучения в течение всей дальнейшей жизни (т.е. используемые стратегии обучения, мотивация, установки и др.)
Другие качества образовательной среды («климат» в школе, использование ИКТ и др.)

Слайд 53 Этап 1. Успешность школ по результатам тестирования
Какую успешность показали школьники

по результатам теста PISA 2003

Слайд 54Уровни успешности в тесте PISA по математике
Среднее по странам OECD
Уровень 6
Уровень

5

Уровень 4

Уровень 3

Уровень 2

Уровень 1

Ниже уровня 1

OECD (2004), Learning for tomorrow’s world: First results from PISA 2003, Table 2.5a, p.354.

15%

21%

22%

18%

10%

4%

11%

РФ


15%

27%

26%

14%

6%

2%

11%

Слайд 55Процент учащихся на каждом уровне успешности

Слайд 56 Этап 2. Равные возможности в обучении Измеряются не столько непосредственными

результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования

Слайд 57


Низкая успешность

Слайд 58


Low Performance
High Mathematics performance

Strong impact of social background on performance
Moderate impact of

social background on performance

High performance
High social equity

Low performance
High social equity

Low performance
Low social equity

High performance
Low social equity

Слайд 59Этап 3. Устойчивость Успешности в тесте по школам

Слайд 60Изменение математической грамотности

Слайд 61Изменение математической грамотности

Слайд 62
Ковалева Галина Сергеевна
Центр оценки качества образования
ИСМО РАО
Тел/факс 8 (495) 246-24-21
www.centeroko.ru


e-mail: centeroko@mail.ru
www.centeroko.ru Исследование PIRLS, TIMSS: www.isc.bc.edu Исследование PISA: www.oecd.org

СПАСИБО ЗА ВНИМАНИЕ!
Вопросы и комментарии

Похожие презентации

Две модели новой системы показателей государственной аккредитацииМодель 1(Развитие существующей системы показателей)Представлена на заседании Аккредитационной коллегии Рособрнадзора 23 октября 2008 г. 200
Публичный доклад Итоги работы БОУ ДПО ИРООО за 2013 год 261
Ресурсный кабинет в образовательном учреждении как необходимый компонент внедрения инклюзивного образования 672
Нобелевская премия 320
Информационные технологии в образовательном учреждении 323
О перспективах, направлениях и проблемах развития отрасли ИТ в России 315

Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.

Для правообладателей

Яндекс.Метрика