Основы педагогических измерений Ашурова Наталья Игоревна, доцент ЦОКО ТОИПКРО, к.и.н. презентация

и обучения, способствующее активизации обучения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда. (Обучающие и контролирующие).

метод.
Система заданий стандартной формы, выполнение которых проходит в равных для всех испытуемых условиях, поддается количественному учету (оценке), позволяет установить уровень сформированности знаний, навыков, умений тестируемого

для установления количественных и качественных индивидуально-психологических особенностей.
(П.Клайн, 1996) [21]
Педагогический тест – комплекс заданий, измеряющих уровень учебных достижений, обученности, прогресс в учебной деятельности, эффективность учебного процесса.
(Т.М. Балыхина, 2000) [6]
Тест – это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.
(Словарь ЕГЭ, 2001)
КИМ – это комплект тестовых заданий разного типа (открытых и закрытых), подготовленных для апробации.
(Словарь ЕГЭ, 2001)
КИМы – стандартизованная экзаменационная работа, создаваемая в соответствии с требованиями теории педагогических измерений, позволяющая с достаточной объективностью и надежностью провести независимую государственную аттестацию выпускников ОУ и отбор абитуриентов в вуз.
(А.О. Татур. 2002) [60]
Тесты представляют собой совокупность заданий, которые позволяют дать объективную, сопоставимую и даже количественную оценку качества подготовки обучаемого в заданной образовательной области
(М.Б. Челышкова, 2002) [63]
Тест обученности – это совокупность заданий, сориентированных на определение (измерение) уровня (степени) усвоения определенных аспектов содержания обучения.
(П.И. Подласый, 2003) [44]
Педагогический тест– система специально подобранных проверочных заданий, составленных по тестовой форме, позволяющая количественно оценить учебные достижения человека в одной или нескольких областях знаний.
(Проект отраслевого терминологического стандарта, 2004) [55]
: «Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения»
( А.Н. Майоров)

контролирующее

интеллекта
-личностные тесты
-тесты достижений
По виду контроля
-текущий контроль
-рубежный контроль
-итоговый контроль
По целям:
- критериально-ориентированный тест
- нормативно-ориентированный тест
...

г.). К.-о. т. выявляет то, что индивид знает и может делать, а не то, как его результаты соотносятся с результатами других тестируемых, т. е. тип тестов, предназначенных для определения уровня обученности испытуемых относительно некоторого критерия, а не относительно групповых норм.
НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ
(norm-referenced test). Тип тестов, предназначенных для определения сравнительного уровня подготовки (обученности) испытуемых – между собой и относительно некоторой нормы (внешний контроль).

процедуры проведения
ёмкий инструмент
широкий инструмент (с точки зрения интервала оценивания)
технологичность процедуры

управляемыми параметрами качества. В этом смысле ни одна из известных форм контроля знаний с тестированием сравниться не может. Но и абсолютизировать возможности тестовой формы нет никаких оснований. Да и вряд ли есть хотя бы одна какая-то форма, которая могла бы выразить все богатство содержания. Не все умения проверяются тестами.
Скрытая слабость показателей по содержательному критерию состоит в трудности формирования выборок заданий по тем дисциплинам, для обследования навыков и знаний в которых предназначен тест. Каково значение 90% -ого показателя? Правильно ли говорить, что индивидуум с таким показателем знает 90% из данной дисциплины? Почти наверное, это не так, и даже если бы это было так, два испытуемых с одинаковыми значениями показателя могли неправильно выполнить различные задания, поэтому эти показатели являются совершенно не эквивалентными. Наличие этой трудности означает, что использование таких тестов должно ограничиваться только областью дисциплин с точно описываемым материалом и теми уровнями, на которых знания являются настолько фиксированными и определенными, что становится возможным реально формировать соответствующие выборки заданий, как например, в случае с простейшими арифметическими операциями.

К показателям к.т. относятся валидность, надежность, практичность (технологичность), экономичность, корректность.

отражающая обоснованность, значимость его результатов, адекватность теста целям измерения (т. е. тест дает ответ на вопрос: измеряют ли задания то, что хотели их составители). Существуют четыре основных метода определения В. теста: 1) метод, основанный на изучении содержания теста; 2) метод, основанный на корреляционном анализе; 3) метод, основанный на различных экспериментальных процедурах; 4) метод, основанный на серии теоретико-экспериментальных исследований.

задание, содержащее один предмет измерения и один правильный ответ, в отличие от некорректных заданий, имеющих более одного предмета измерения и допускающих несколько вариантов правильных ответов(неоднозначность ответа).

степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях. Н. может определяться по совпадению двух половин теста (четных и нечетных заданий); вычисляется как коэффициент корреляции между результатами по четным и нечетным заданиям для каждого испытуемого.

репрезентативность (максимально возможная покрываемость программы);
2) репрезентативность контингента (тест должен быть выполнен как сильными, так и слабыми учащимися;
3) количество заданий (чем больше заданий, тем надежнее
4) трудность заданий (трудный тест считается более надежным),
5) стабильность, или стандартность внешних условий тестирования (времени, инструкций, мотивов и оценок).

качества теста, заключающаяся в доступности инструкций и содержания заданий теста для понимания тестируемого, состоящая в сравнительной простоте как организации тестирования, так и проверки, подсчета результатов, подведения итогов.

пилотный тест).
Предварительный тест, качества и результаты которого обрабатываются, интерпретируются для составления окончательного теста.

Система заданий, составленных преподавателем дисциплины по пройденному материалу для текущего, промежуточного контроля, т. е. для учебных потребностей. Для п.т. необязательно определение всех показателей качества.

представленность тех или иных параметров. Например: репрезентативная выборка объектов тестирования означает максимальную представленность в тесте учебной программы; репрезентативность контингента – равнопредставленность как более сильной, так и более слабой части контингента испытуемых, для которых предназначался тест.

дифференцирующая способность, т. е. информация о том, насколько данное задание способно разграничить сильных и слабых (индекс должен быть не менее +0,3);
2) степень трудности (facility value) заданий должна быть в пределах от 20% до 80%. Неэкономично включать в тест задания, степень трудности которых ниже 20% (это слишком трудные задания) и выше 80% (слишком легкие).

уровень компетенции, знаний по нескольким коррелирующим между собой дисциплинам.
ГОМОГЕННЫЙ ТЕСТ (homogen test). Педагогический тест, проверяющий структуру и уровень знаний по конкретной дисциплине.

задание, близкий к правильному, но не являющийся таковым. К отвлекающим ответам относятся: антоним правильного ответа, неполный синоним, контекстуальная отвлекающая, аффиксальная отвлекающая (к правильному ответу прибавляется или от него отнимается префикс, суффикс), случайное слово и т. д.

которому словесное оформление заданий должно быть кратким. Д. основной части (основы) не должна превышать 10-12 слов, а д. ответов – 3-5 слов, при этом в основе задания допускается одно придаточное предложение.

и другие факторы, влияющие на процедуру тестирования (готовность помещения, рабочего места, благоприятная атмосфера и т.д.), главные из которых следующие:
необходимость следовать процедуре тестирования и руководству по использованию теста;
реагирование на любые нестандартные условия;
учет при интерпретации результатов теста нестандартных условий тестирования.

форма

форме предложения с неизвестным.
Корректность содержания (общее) + технологичность, приобретаемая за счет тестовой формы
Наличие одного правильного ответа

об одном.
(Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. А.М. Пешковский)
Правильность выбора формы
Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.

мысли человеком.
Учебные вопросы многословны. (ответы полные и неполные, правильные и неправильные, разные по форме, содержанию и по структуре, обязательное участие преподавателя, субъективизм).
Одинаковость правил оценки ответов

он хочет оценить с помощью теста (отражается в спецификации).
Одно задание – один элемент знаний
Значимость материала – наиболее важные, ключевые, структурныe элементы. оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста
Научная достоверность - объективно истинное и поддается рациональной аргументации. Соответственно, все спорные точки зрения, которые существуют в науке, не рекомендуется включать в тестовые задания. (Требование наличия одного правильного ответа – эталонного).

Принципы отбора содержания

состоит из комплекта сведений, инструкций и рекомендаций, которые в комплексе обеспечивают всем испытуемым равные условия на всех этапах использования теста.

правила и требования предъявления теста испытуемым;
правила обработки результатов;
рекомендации по интерпретации полученных данных

порядок их размещения и предъявления;
временные ограничения;
полный текст инструкции для испытуемых;
правила поведения экспериментатора во время проведения теста;
описание ответов на возможные типичные вопросы;
необходимая квалификация для лиц, которые проводят тестирование, проверяют правильность выполнения, анализируют результаты;
вопросы конфиденциальности и доступа к получаемой в результате тестирования информации;
инструкция по проверке результатов

заполнения бланков для ответов (тестовых тетрадей, внесения ответов в компьютер и т.д.);
образцы решения задач образцов по крайней мере по одной на каждый тип заданий, представленных в тесте;
образцы исправления неверно выполненного задания и образцы исправления исправленного.

выберите)
Правила:
Будьте кратки, насколько возможно
Изъясняйтесь настолько просто, насколько можно, употребляя простые предложения
Должны быть примеры выполнения

Ответ запишите в рамку, для промежуточных записей используйте место слева от вопроса

Номер выбранного ответа запишите в бланке ответов напротив номера задания

В бланке ответов №1 под номером выполняемого задания поставьте знак «х» в клеточку, номер которой соответствует номеру выбранного ответа

обеспечить наличие столов и стульев в количестве, необходимом для проведения исследования;
разместить столы и стулья так, чтобы к каждому испытуемому было удобно подойти;
обеспечить каждому испытуемому за столом удобное место, что достигается подбором помещения, оснащенного мебелью необходимых размеров;
оборудовать место для ведущего и, если это необходимо, для наблюдателя, с максимальным обзором.

испытуемые должны приложить максимум усилий для его выполнения,
Медленно, громко, чётко, без запинок, естественным голосом прочесть инструкцию к тесту с примерами, если они имеются.
Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач образцов, если таковые имеются, проверить, правильно ли понята инструкция.
Сообщить о временном ресурсе, о, правилах исправления допущенных ошибок, о том, чего не рекомендуется делать при решении задач, к кому обращаться в случае возникновения вопросов.
Вместе с испытуемыми или самому, заполнить, если требуется, паспортные и биографические данные в регистрационных бланках. Проследить за правильностью заполнения. Ответить на имеющиеся вопросы.
Дать команду начать решение задач теста. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.

временем решения (если это необходимо); j
за наличием отточенных карандашей и других материалов;
-за правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка своевременно её устранить);
-за тем, чтобы испытуемые не писали на тестовых брошюрах, если иное не предусмотрено, не портили тестовых установок и приборов;
-за тем, чтобы соседи не общались между собой, не шептались, не мешали друг другу,
-за состоянием испытуемых;
-за тем, чтобы испытуемые своевременно получали ответы на вопросы в ситуациях, связанных с процедурой проведения (ответы не должны служить подсказкой для решения или нарушать указания руководства, возможные варианты ответов должны быть предусмотрены в руководстве).

дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать
По окончании тестирования просмотреть все брошюры и стереть пометки на них; если это невозможно — брошюры следует уничтожить.

уравновешенность, общительность, тактичность.

наблюдателей.
Наблюдатель — лицо, фиксирующее процедуру проведения и соответствие действий ведущего (исследователя) сценарию тестирования.

(базой) учебных заданий различных видов, предназначенных для определенных целей и форм контроля
Содержательная структура учебной дисциплины должна наглядно отображать связь содержания дисциплины с составом разрабатываемых контрольных заданий и их основными показателями – назначением, конструктивными формами, уровнем трудности и др.

к обучающимся по образовательной программе данного направления (специальности) с целью:
определения состава знаний, умений и навыков, которыми должен владеть выпускник, завершивший изучение дисциплин данного цикла (раздел «Квалификационные требования к уровню подготовки выпускника» ФГОС);
определения состава знаний, умений и навыков, которыми должен владеть учащийся, завершивший изучение данной учебной дисциплины (раздел «Цели и задачи изучения дисциплины» из соответствующей рабочей программы).

дисциплины и подлежащих усвоению обучающимися в установленные сроки с требуемым результатом.
Структурирование содержания учебной дисциплины ведется обычно в логике и порядке изучения предмета.
Учебный элемент рассматривается как содержательная единица предметного изучения, а, следовательно, как единица понимания и усвоения элементных составляющих обучения, логически независимую часть содержания, по объему и логике соответствующая такому достаточно крупному компоненту содержания как: понятия, теория, закон, закономерность, явление, факт, объект, метод и т.д.
Учебный элемент состоит из информационно-смысловых элементов. Информационно-смысловой элемент – завершенное по содержанию и форме простое суждение, при дальнейшем разделении которого утрачивается смысл.

установленному стандартом для данной дисциплины в качестве федерального компонента: требования стандарта в этой части должны быть удовлетворены полностью без каких-либо исключений. При обнаружении отклонений в рабочую программу вносятся необходимые коррективы.
В теоретическом плане итогом проведенной работы является вербальное определение планируемого результата обучения в обобщенных формулировках.
Для перевода в формулировку диагностируемого результата (целей) необходимо каждую из полученных дидактических единиц представить в виде конкретизированных целей (деятельностных), т.е. провести операционализацию целей обучения.

результатов определенной учебной деятельности.
Итогом этапа является перечень требований к учебным достижениям испытуемых – результатам учебной деятельности, на основе которых будет формироваться содержание контроля. Один и тот же учебный элемент проверяется различными видами действий испытуемых, т.е. одной дидактической единице соответствует несколько деятельностных целей. При этом контролируемые знания будут разных уровней усвоения

опыта, которая
соответствует стандарту (по направлению или специальности), определяющему подготовку как по предмету, так и общеинтеллектуальную;
сформулирована в терминах, допускающих проверку;
контролируется (фиксируется уровень достижения учащимся образовательного стандарта) по окончании обучения.
5. Конкретизация целей обучения

определение терминам и понятиям «изотоп» и «нуклид»; называть причины существования изотопов, называть вред, причиняемый радиоактивными изотопами живым организмам, перечислять особенности изотопов некоторых элементов, выбирать по массовым числам формулы изотопов, описывать по уравнениям процесс радиоактивного распада и ядерных реакций, перечислять способы применения изотопов в промышленности.
на уровне понимания и применения знаний в знакомой ситуации: объяснять отличия изотопов одного элемента, объяснять устойчивость изотопов, характеризовать распространение изотопов разных элементов в природе, устанавливать различие между изотопами и изобарами, рассчитывать процентное содержание изотопов элемента по атомной массе и наоборот, составлять реакции ядерного распада, вставить пропущенные обозначения в уравнения ядерных реакций.
на уровне применения знаний в незнакомой ситуации: предсказывать последствия ядерной реакции при облучении определенным видом излучения, при этом обосновывать свою точку зрения, высказывать свое суждение о роли реакций ядерного распада, роли знаний об изотопах, составлять план эксперимента по получению заданного элемента из другого.

можно руководствоваться, в частности, степенью его необходимости (важности) для:
изучения и усвоения данной дисциплины;
изучения и усвоения последующих дисциплин;
формирования личностных (например, профессионально необходимых) качеств обучающегося.
Ориентировочная классификация и распределение компонентов знаний, выделенных в п.3, по уровням значимости:
первый уровень – компоненты, составляющие минимальный уровень - базис данной учебной дисциплины (эти компоненты именуются как «Базовый уровень»);
второй уровень – компоненты, развивающие и дополняющие базис учебной дисциплины (именуются как «Средний уровень»);
третий уровень – компоненты повышенного - системного уровня (обозначены как «Системный уровень»).

указать форму задания.
Например, для тестирования используются задания с выбором правильного ответа, открытой формы, установления правильной последовательности и соответствия. На выбор определенной формы существенно влияет характер требований к уровню подготовки учащегося, вид знания, вид контроля. Возможно, что одну цель будут контролировать несколько заданий: в одной форме либо в разных; относящихся к одному виду контроля или нескольким.
Присвоение каждому заданию идентификационного номера (кода), который показывает принадлежность определенному разделу, теме, дидактической единице

уровень коэффициента трудности задания, который выражается вероятной долей правильных ответов (р):
КТ.1 – первый уровень трудности (задания легкие, р < 0,3);
КТ.2 – средний уровень трудности (задания средней трудности, 0,3 < р > 0,8);
КТ.3 – третий уровень трудности (задания трудные, р > 0,8). Проектируемый уровень трудности заданий вносится в содержательную структуру дисциплины.
Перечисленные действия разработчика завершаются оформлением проектного документа: форма кодификатора представлена таблице

научно-методически обоснованный процесс с обязательным соблюдением основных процедур.

После того, как выбрана цель тестирования, определено содержание контроля на основе выделения структурных учебных элементов, представленных в операциональной форме деятельности, необходимо составить план теста, проект условий его использования, совершенствования (спецификацию).

Описание возможных сфер применения.
Перечень нормативных документов (стандарты, базисные программы, требования к уровню подготовки выпускников и т.д.)
Описание общей структуры теста.
Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.
Число параллельных вариантов в тесте.
Вес каждого задания, рекомендуемый разработчиком теста.
Рекомендуемое время выполнения теста. Среднее время выполнения задания с учетом специфики формы.
Соотношение заданий по различным разделам и видам учебной деятельности.
Рекомендации по контингенту для апробации теста.
Стратегия расположения заданий в тесте, рекомендуемая разработчиком (план теста).

Содержание итоговой работы
3. Характеристика структуры и содержания экзаменационной работы
Таблица 1. Распределение заданий по частям работы

4. Время выполнения работы
5. Дополнительные материалы и оборудование
6. Система оценивания отдельных заданий и работы в целом
7. План работы