Презентация на тему Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО

Презентация на тему Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО, предмет презентации: Образование. Этот материал содержит 62 слайдов. Красочные слайды и илюстрации помогут Вам заинтересовать свою аудиторию. Для просмотра воспользуйтесь проигрывателем, если материал оказался полезным для Вас - поделитесь им с друзьями с помощью социальных кнопок и добавьте наш сайт презентаций ThePresentation.ru в закладки!

Слайды и текст этой презентации

Слайд 1
Текст слайда:

Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО


Слайд 2
Текст слайда:

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

1. Формирование профессионального сообщества на федеральном и региональном уровнях:
федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи /математика, русский язык, обществознание, физика, химия, биология, география/; региональный уровень – организаторы ЕГЭ, специалисты аттестационных служб и др.

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов


Слайд 3
Текст слайда:

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

2. Разработка КИМ - создание заданий нового типа, технология разработки, статистические анализ заданий и КИМ, обеспечение качества КИМ.
3. Использование подходов и программного обеспечения для шкалирования и обработки данных

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов


Слайд 4
Текст слайда:

Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

4. Проведение вторичного анализа данных исследований TIMSS-2003 PISA-2003 (например, выявление факторов, связанных с эффективностью образования)
5. Установление профессиональных контактов со специалистами стран, участвующих в международных исследованиях (например, Финляндия, Норвегия, Германия, Япония, Тайвань, страны СНГ и Балтии и др.)

Исследование PISA(с 2000 по 2003 годы):
Математика – нет изменений
Чтение – статистически значимое снижение результатов
Естествознание – статистически значимое улучшение результатов


Слайд 5
Текст слайда:

Информация об исследованиях: цели и задачи

Исследование TIMSS (более 65 стран)
Оценить качество математического и естественнонаучного образования в начальной, основной и средней школе
Выявить динамику в результатах (1995, 1999, 2003, 2007, 2008)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование PISA (57 стран)
Оценить обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни
Выявить динамику в результатах (2000, 2003, 2006)
Выявить факторы, позволяющие объяснить различия в результатах


Слайд 6
Текст слайда:

Информация об исследованиях: цели и задачи

Исследование PIRLS (40 стран)
Оценить качество чтения и понимания текстов в начальной школе
Выявить динамику в результатах (1991, 2001, 2006)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование ICES (?)
Оценить качество граждановедческого образования в средней школе
Выявить динамику в результатах (1999, 2000, 2008)
Выявить факторы, позволяющие объяснить различия в результатах


Слайд 7
Текст слайда:

Информация об исследованиях: цели и задачи

Исследование TEDS (более 20 стран)
Оценить качество педагогического образования в области математики (программы обучения, учебный процесс, подготовка будущих учителей)
Выявить факторы, позволяющие объяснить различия в результатах

Исследование SITES (более 20 стран)
Изучить опыт использования информационных технологий в образовании

Выявить факторы, связанные с эффективным использованием ИКТ в обучении


Слайд 8
Текст слайда:

Организаторы и участники


Исследования TIMSS, PIRLS, ICES, TEDS
Международная Ассоциация по оценке образовательных достижений - IEA
Более 65 стран

Исследование PISA
Организация экономического сотрудничества и развития - OECD
Около 60 стран


Слайд 9
Текст слайда:

Организация исследования PISA


Слайд 10
Текст слайда:

Международные исследования в в России в 2006 году


Исследования:
PIRLS (основное исследование- 46 регионов, 232 школы, 4955 учащихся 3-4 классов)
TIMSS (апробационное исследование - 3 региона, около 3000 учащихся 4 и 8 классов, разработка инструментария для исследования TIMSS-2008, углубленное изучение математики и физики)

Исследование PISA
(основное исследование – 46 регионов, 210 образовательных учреждений, 6154 учащихся 15-летнего возраста)


Слайд 11
Текст слайда:

Организационная схема мониторинга образовательных достижений (общее образование)



Слайд 12
Текст слайда:

Организационная схема мониторинга образовательных достижений (общее образование)



Слайд 13
Текст слайда:

Организационная схема мониторинга образовательных достижений (общее образование)



Слайд 14
Текст слайда:

Особенности разработки инструментария мониторинговых исследований качества образования (на примере международных сравнительных исследований PISA, PIRLS и TIMSS)


Слайд 15
Текст слайда:

Общие требования к разработке инструментария

Требования в соответствии с целевыми установками исследования:
Разработанный инструментарий должен соответствовать выбранной модели образовательной системы и позволять:
Оценить образовательные достижения в соответствии с принятыми стандартами, таксономией и т.д.
Получить информацию о факторах, влияющих на образовательные результаты;
Установить динамику в изменении образовательных достижений и образовательного контекста;
Получить данные для управления качеством образования;
Получить данные, необходимые для совершенствования системы образования


Слайд 16
Текст слайда:

Модель системы образования


Слайд 17
Текст слайда:

Система инструментария исследования TIMSS



Слайд 18
Текст слайда:

Общие требования к разработке инструментария

Требования теории педагогических измерений:
Соответствие выбранной модели измерения
Валидность по отношению к проверяемому содержанию образования
Надежность оценки
Наличие качественных статистических характеристик, позволяющих выстраивать измерительные шкалы (тесты и анкеты)


Слайд 19
Текст слайда:

Общие требования к разработке инструментария

Учет особенностей проведения:
Соответствие возрастным особенностям учащихся
Обеспечение стандартизации процедуры проведения тестирования
Качество инструкций
Качество полиграфии


Слайд 20
Текст слайда:

Общие требования к разработке инструментария

Ориентация на форму представления результатов (средние значения, результаты по уровням, по отдельным содержательным областям и уровням учебно-познавательной дея.)
Учет финансовых и организационных возможностей.


Слайд 21
Текст слайда:

Пример инновационных подходов Разработка заданий нового типа


Слайд 22
Текст слайда:

Формирование представительной выборки учащихся в международных исследованиях PIRLS и PISA


Слайд 23
Текст слайда:

Зачем необходима выборка?

Невозможно провести тестирование всех учащихся по всему изученному материалу
Более 2 млн. учащихся
Более 200 требований стандарта по предмету (более 1000 заданий)
Значительные финансовые и материальные затраты
Нет необходимости проводить тестирование всех учащихся по всему изученному материалу
Теория формирования выборки
Современная теория тестов (IRT)
Последствия:
При анализе результатов необходимо учитывать характеристики, связанные с выборкой (вес, ошибка выборки и др.)


Слайд 24
Текст слайда:

Определение целевой совокупности (генеральной совокупности). 2 подхода

Подход 1: Выборка, ориентированная на год обучения (класс)
Исследование PIRLS:
Все учащиеся страны четвертого года обучения в школе (ISCED Level 1)
Средний возраст учащихся 9,5 лет
В России: выпускники начальной школы 4-го класса (по программе 1-4) и 3-го класса (по программе 1-3), средний возраст - 10,3 лет (2001 г.), - 10,6 лет (2003 г.)
В большинстве стран: учащиеся 4 класса, средний возраст 10,3 лет (2001, 2003 г.)


Слайд 25
Текст слайда:

Определение целевой совокупности (генеральной совокупности). 2 подхода

Подход 2: Выборка, ориентированная на возраст
Исследование PISA:
Все обучающиеся страны 15-летнего возраста (1990 г. рождения) (ISCED Levels 2-3)
В России: учащиеся 7-11 классов средней школы, студенты ОУ НПО и СПО


Слайд 26
Текст слайда:

Совокупности и исключения

Исключения на уровне школ

Исключения на национальном уровне


Исключения внутри школы

Международная планируемая совокупность

Национальная планируемая совокупность

Национальная исследуемая совокупность

Реальная совокупность


Слайд 27
Текст слайда:

Стандарты формирования выборки: 1

Исследование PIRLS и PISA
Выборка считается представительной, если исключения разного уровня не превышают 5%.
Исключения на национальном уровне:
географически удаленные школы (PISA – менее 0,5%),
очень малые школы (только PIRLS)
Исключения на уровне школ (учащиеся с недостатками умственного и физического развития, с неродным русским языком (обучение на русском языке менее 1 года) не должны превышать 2,5%
Общее исключение в исследовании PIRLS – 4,9%
Общее исключение в исследовании PISA - 2,96% (0,96% - специальные и коррекционные школы, до 2% исключения на уровне ОУ)


Слайд 28
Текст слайда:

Стандарты формирования выборки: 2

Исследование PISA
Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ и не менее 80% от всех отобранных учащихся
Исследование PIRLS
Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся


Слайд 29
Текст слайда:

Эффективный размер выборки Число школ и учащихся

Определяется структурой собираемых данных
Зависит также от требуемой точности измерений, коэффициента внутриклассной корреляции, средней наполняемости класса и надежности теста.
Эффективный размер случайной выборки учащихся – 400
При доверительном интервале 95%
Средние значения с точностью +/- 0,1 станд. отк.
Проценты +/- 5
Корреляции +/- 0,1
Эффективный размер случайной стратифицированной выборки (собираются данные не только об учащихся, но и школах и классах) – 150 школ и 4500 учащихся


Слайд 30
Текст слайда:

Размер выборки (PISA-2006)

Минимум 150 школ
Максимум 35 учащихся в образовательном учреждении
Размер выборки – минимум 5250 учащихся

210 образовательных учреждений
Участвуют 35 учащихся 7-11 классов или 1-2 курсов ОУ НПО и СПО
Размер выборки – 6154 учащихся

Требования

Россия


Слайд 31
Текст слайда:

Размер выборки (PIRLS-2006)


Требования


Россия

Минимум 150 школ
Минимум 1 класс в школе
2 класса выбирается в целях сравнения результатов внутри школы
или
для достижения необходи- мого размера выборки
Участвуют все учащиеся выбранного класса
Размер выборки – минимум 4 000 учащихся

232 школы
1 класс в каждой выбранной школе



Участвуют все учащиеся выбранного класса
Размер выборки – 4955 учащихся


Слайд 32
Текст слайда:

Состав выборки


ИсследованиеPISA


Исследование PIRLS

Из 210 образовательных учреждений:
Средние общеобразовательные школы - 141
Гимназии – 9
Лицеи - 2
Основные школы - 14
Вечерние школы – 12
Школа–интернат – 1
ОУ НПО – 13
ОУ СПО - 18

Из 232 школ:
Средние общеобразовательные школы – 182
Основные школы – 12
Начальные школы – 5
Гимназии и лицеи - 33




Слайд 33
Текст слайда:

Этапы формирования выборки

Работа с базами ОУ регионов
- «чистка» базы
Формирование выборки ОУ
- формирование выборок исследований PIRLS и PISA
- утверждение выборок в Международных координационных центрах PIRLS и PISA
Связь с образовательными учреждениями
- PIRLS: получение списков классов и учащихся
- PISA: получение списков обучающихся 1990 г.р.
Выбор участников исследований
- PIRLS: классов (учащихся)
- PISA: обучающихся 1990 г.р.
Ввод информации об участниках исследований
Подготовка документации для проведения тестирования в отобранных ОУ


Слайд 34
Текст слайда:

Стратификация

Группировка ОУ согласно некоторым признакам.
Используется, чтобы:
улучшить дизайн выборки (сделать оценки выборки более надежными);
привести в соответствие пропорциональную представительность разных групп в генеральной совокупности.


Слайд 35
Текст слайда:

Стратификация

Переменные стратификации:
Регионы, районы;
Тип урбанизации (город-село)
Социо-экономический статус ОУ
Тип ОУ
Ступень обучения
и др.


Слайд 36
Текст слайда:

Стратификация

Внутренняя

Внешняя

PIRLS, PISA: регион
(45 регионов – 45 страт)
Для каждого региона строится отдельный список ОУ
Выборка ОУ проводится внутри каждого региона

PIRLS:
Тип населенного пункта (9 уровней)
PISA:
Тип (4 уровня) и вид (16 уровней) образовательного учреждения; тип населенного пункта (9 уровней)




Слайд 37
Текст слайда:

Технические стандарты международных исследований Обеспечение качества исследования



Слайд 38
Текст слайда:



Процедуры сбора данных

Обеспечение качества

Полученные в исследовании данные


Слайд 39
Текст слайда:

Что включает система обеспечения качества исследования?

План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др.
Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования.
Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования
Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.


Слайд 40
Текст слайда:

Система обеспечения качества основана на соответствии стандартам качества

Консорциум контролирует качество проведения исследования в соответствии с разработанными стандартами качества
Формирование выборки
Язык, на котором проводится тестирование
Участие в проведении апробационного исследования
Адаптация инструментария и руководств
Перевод инструментария и руководств
Проведение тестирования
Реализация национальной части исследования
Мониторинг качества
Тиражирование материалов
Проверка заданий с открытыми ответами
Анализ полученных данных


Слайд 41
Текст слайда:

Источники данных об обеспечении качества проведения исследований

Выборка
Перевод и верификация
Проведение тестирования (MAS)
Мониторинг качества
Мониторинг работы национального центра
Проверка работ (Перепроверка работ, Международная проверка),
Отправленные данные,
Адаптация (QAS, TAS)
Анализ проведения исследования (подготовка отчета)


Слайд 42
Текст слайда:

Стандарты качества

Данные

В большинстве случаев данные должны соответствовать стандартам.

Подтверждение соответствия стандартам


Слайд 43
Текст слайда:

Что происходит при несоответствии стандартам качества?

Решение зависит от :
Степени несоответствия стандартам
Наличия возможности исправления
Чистка данных
Проверка данных на соответствии качеству
Анализ данных при невозможности их исправить
Анализ изменений, внесенных консорциумом
Рекомендации по включению в международный отчет
Полная публикация
Публикация данных только частичная (в некоторых таблицах)
Публикация в Приложениях к отчету и др.


Слайд 44
Текст слайда:

Пример вторичного анализа данных Эффективность ситемы образования


Слайд 45
Текст слайда:


Актуальная ситуация:

Запрос рынка труда на качественно новый результат школьного образования
Проблемы и противоречия в системе образования

Несоответствие системы образования
новым социально-экономическим задачам


Слайд 46
Текст слайда:


Школы пытаются преодолеть этот разрыв с помощью:

авторских программ;
уровневого содержания образования;
новых педагогических технологий;
новых форм организации процесса обучения;
и др. (кто как может).
Возросло число специфических внутренних задач, которые может ставить и решать каждая конкретная школа


Слайд 47
Текст слайда:

Преодоление разрыва



Слайд 48
Текст слайда:

1. Исследование общих закономерностей

Без знаний и информации Вы – просто некто со своим мнением …

Знание успешности обучения –
важнейший аспект …
Только этого мало!
Необходима информация о других параметрах образовательной среды.


Слайд 49
Текст слайда:

Образовательная среда

Обычно оценивается в терминах "эффективности школы" как социальной системы - эмоционального климата, личностного благополучия, особенностей микрокультуры, качества воспитательно-образовательного процесса и др.
Важным фактором школьной эффективности выступает организационный (обеспечивающий солидарность представлений учителей о своем профессиональном долге, их умение увязать личные педагогические философии как друг с другом, так и с учащимися, поддержку автономной инициативы учителей администрацией школы и др.).

Параметров так много, что в них легко потеряться!


Слайд 50
Текст слайда:


Чем же так хороши
(помимо четкой постановки целей и задач, отработанных процедур проведения и обработки результатов)
международные исследования оценки качества образования?




Слайд 51
Текст слайда:


международные исследования оценки качества образования:

одновременно рассматривают большое количество различных образовательных систем.
применяют современные математические многомерные методы, позволяющие объективно сравнивать полученные в разных странах результаты;
одновременно рассматривают большое число параметров образовательной среды, способствующих успешности обучения, тщательно отобранных на основании проводившихся ранее экспериментальных исследований;
Все это позволяет получить не разрозненные данные, а целостную картину.


Слайд 52
Текст слайда:

Этапы оценки качества образования в школах

Успешность школ по результатам тестирования
Равные возможности в обучении (измеряемые не столько результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования)
Устойчивость успешности в тесте по школам
Гендерные различия
Полученные основы для обучения в течение всей дальнейшей жизни (т.е. используемые стратегии обучения, мотивация, установки и др.)
Другие качества образовательной среды («климат» в школе, использование ИКТ и др.)


Слайд 53
Текст слайда:

Этап 1. Успешность школ по результатам тестирования

Какую успешность показали школьники по результатам теста PISA 2003


Слайд 54
Текст слайда:

Уровни успешности в тесте PISA по математике

Среднее по странам OECD

Уровень 6

Уровень 5

Уровень 4

Уровень 3

Уровень 2

Уровень 1

Ниже уровня 1

OECD (2004), Learning for tomorrow’s world: First results from PISA 2003, Table 2.5a, p.354.

15%

21%

22%

18%

10%

4%

11%

РФ


15%

27%

26%

14%

6%

2%

11%


Слайд 55
Текст слайда:

Процент учащихся на каждом уровне успешности


Слайд 56
Текст слайда:

Этап 2. Равные возможности в обучении Измеряются не столько непосредственными результатами тестирования, сколько влиянием социо-экономического уровня школы и школьника на результаты тестирования


Слайд 57
Текст слайда:




Низкая успешность



Слайд 58
Текст слайда:




Low Performance

High Mathematics performance


Strong impact of social background on performance

Moderate impact of social background on performance

High performance
High social equity

Low performance
High social equity

Low performance
Low social equity

High performance
Low social equity


Слайд 59
Текст слайда:

Этап 3. Устойчивость Успешности в тесте по школам


Слайд 60
Текст слайда:

Изменение математической грамотности



Слайд 61
Текст слайда:

Изменение математической грамотности



Слайд 62
Текст слайда:


Ковалева Галина Сергеевна
Центр оценки качества образования
ИСМО РАО
Тел/факс 8 (495) 246-24-21
www.centeroko.ru
e-mail: centeroko@mail.ru
www.centeroko.ru Исследование PIRLS, TIMSS: www.isc.bc.edu Исследование PISA: www.oecd.org

СПАСИБО ЗА ВНИМАНИЕ!
Вопросы и комментарии


Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика