Дистракторы в тестах это: ДИСТРАКТОР — Гипертекстовый словарь методических терминов

Опубликовано автором

Содержание

Какие проблемы таят в себе тесты знаний с заданиями закрытой формы? – HRbazaar

Что же получается? Мы хотим, чтобы после обучения и проверки знаний наши слушатели пошли немедленно их применять, анализировать и даже создавать новые, а сами, как правило, проверяем их знания тестами закрытой формы! А это самый первый уровень усвоения знаний — уровень узнавания! Нестыковочка…

Другая крайность — так и не нужны нам эти «угадайки»! Непременно нужно давать слушателям творческие задания, приближенные к боевым. Верно, но эти задания может проверить только эксперт в данной области, и ни о какой автоматизации проверки знаний речи не идет (по крайней мере, пока возможности искусственного интеллекта на нынешнем уровне).

Ответ прост: гвозди забиваем молотком, а не микроскопом! И если цель — просто проверить, изучал или нет данную информацию слушатель, то более быстрого, массового и автоматизированного (без привлечения преподавателя!) инструмента проверки знаний, чем электронный тест с заданиями закрытой формы, нет.

А эта цель очень полезна, например, в смешанной форме обучения, когда на очный тренинг слушатели приходят уже с багажом знаний и могут приступить к тренировкам умений и навыков.

Итак, основное ограничение теста знаний с заданиями закрытой формы состоит в том, что он измеряет знания всего лишь на самом низшем уровне их усвоения — на уровне узнавания или ознакомления.

Почему так важно качество тестовых заданий?

Более того, всегда есть вероятность угадывания правильного ответа, которая зависит от количества ответов. В случае задания «один из многих» эта вероятность вычисляется легко. Например, если ответов всего 4, то она равна ¼ или 25%. Согласитесь, немало! А если ответов всего два — «да» или «нет», то вовсе можно угадать 50 на 50! В случае других видов заданий закрытой формы — «несколько из многих», «установление соответствия», «установление последовательности» — формула вычисления несколько сложнее, а вероятность угадывания, как правило, меньше, но она все равно есть!

Раз так, чрезвычайную важность составляет качество разработки тестовых заданий. У тестового задания закрытой формы есть несколько вариантов ответа — правильный ответ (или несколько правильных ответов) и отвлекающие ответы, очень похожие на правильный. Последние называются «дистракторами». Так вот, если дистракторы составлены так, что их можно угадать, применяя методы формальной логики, то, во-первых, значительно увеличивается процент угадывания правильного ответа, а во-вторых, мы тогда проверяем не знания в предметной области, а способность слушателя рассуждать логически. Иными словами, возникает риск не проверить знания даже на самом низшем уровне их усвоения.

Выход один – разрабатывать задания закрытой формы так, чтобы дистракторы были настолько похожи на правильный ответ, что без знаний в предметной области их нельзя было бы угадать. Как это сделать? Ответ: перед началом разработки на входе должны быть заданы четкие и измеримые критерии качества теста и тестовых заданий.

Авторская система критериев качества тестовых заданий закрытой формы

Предлагаю Вашему вниманию систему критериев качества тестовых заданий закрытой формы [1]. Главное назначение этой системы состоит в том, чтобы помочь в доступной форме (с помощью ответов на вопросы да/нет) автору теста разработать такое задание, которое действительно будет проверять знания в предметной области. Каждый критерий представлен в виде утверждения, которое можно оценить по двухбалльной шкале: «да/1» или «нет/0». Это позволяет установить интегральный критерий качества в цифровом виде — например, значение показателя качества тестового задания, определяемого как среднее арифметическое всех критериев качества. Другими словами, чем больше ответов «Да» или «единичек», тем качественнее тестовое задание.

Группы критериев системы качества

Итак, система состоит из четырех групп критериев:

  1. Достаточная сложность задания;
  2. Качество формулировки задания;
  3. Качество и количество ответов;
  4. Качество оформления тестового задания.

Критерии группы 1 «Достаточная сложность задания»

Критерии этой группы прогнозные и определяют самое главное: подтверждение качества тестового задания. Остальные группы критериев работают на то, чтобы эти критерии были оценены на 1.

Первый критерий звучит так: «1.1. Неспециалист в предметной области не знает правильный ответ и выбирает правильный и неправильный ответ с равной вероятностью». Заметим, что именно неспециалист поможет вам интегрально определить качество тестового задания. Этот критерий может быть проверен на практике с помощью пилотной группы, которая собрана из экспертов в других областях, не имеющих представления о проверяемой тематике. Если по результатам пилотного тестирования процент правильных ответов каждого тестового задания находится в пределах вероятности угадывания, значит, тестовое задание составлено качественно. В идеале чем меньше процент правильных ответов у неспециалистов, тем лучше.

Второй критерий: «1.2. 70-80% специалистов в предметной области отвечают правильно». Это означает, что для проверки качества тестового задания нужна вторая группа для пилотного тестирования. Именно эксперты в данной предметной области проверят корректность составленных дистракторов.

Критерии группы 2 «Качество формулировки задания»

Критерии этой группы, в основном, нацелены на то, чтобы задание было сформулировано максимально лаконично и понятно для испытуемого. Это важно, поскольку тест сам по себе — стрессовая ситуация, и мы должны позаботиться о том, чтобы сгладить последствия этого стресса. Чем меньше текст всего задания, тем быстрее слушатель прочитает и поймет его. Так, критерии «2.2. Отсутствие лишних слов (исключение которых не изменяет смысл задания)», «2.3. Отсутствие повторяющихся слов в ответах» и «2.4. Утвердительная форма формулировки задания» позволяют минимизировать количество слов в задании. Повторяющиеся слова в ответах можно перенести в вопрос, а лишние слова исключить. Что касается утвердительной формы, то практически любой вопрос можно переформулировать так, что он станет утверждением, а ответы будут продолжать это утверждение. Так текст станет короче, как минимум, на вопросительное слово. Например, вопрос «Как в подавляющем большинстве случаев называется определение и запись корреспондирующих счетов на документах?» можно переформулировать так: «Определение и запись корреспондирующих счетов на документах называется:».

Справедливость критерия «2.1. Отсутствие грамматических ошибок» очевидна.

Критерий «2.5. Отсутствие двойного отрицания» введен для того, чтобы текст задания был легче в восприятии, и слушатель случайно не перепутал, что именно у него спрашивают. Для этой цели также введен критерий «2.6. Выделение отрицания заглавными буквами». Если автору теста так уж необходимо использовать отрицание, нужно привлечь к нему дополнительное внимание слушателя.

Наконец, критерий «2.7. Отсутствие аббревиатуры без расшифровки» добавлен в систему для того, чтобы избежать разночтений в расшифровке аббревиатур.

Критерии группы 3 «Качество и количество ответов»

Самый главный критерий в этой группе «3.1. Невозможность отличить правильный ответ от дистракторов по формальным признакам (количество слов, полнота ответа, наличие пояснений) и с помощью методов формальной логики (очевидно неправильный ответ, частично правильный ответ, в ответе есть косвенные ссылки на текст вопроса и т. д.)».

Следующий критерий посвящен грамматике «3.2. Логическая и грамматическая согласованность с формулировкой основной части задания». А вот критерий «3.3. Отсутствие формулировки ответов вида «все перечисленные ответы», «все ответы неправильные», «да», «нет»» часто вызывает вопросы. Поясню. Главным условием неугадываемости правильного ответа является чрезвычайная похожесть дистракторов на правильный ответ. В этом контексте ответы «все перечисленные ответы» или «все ответы неправильные» абсолютно не похожи на правильный ответ. Более того, зачастую эти ответы и являются правильными, и именно их интуитивно выбирает испытуемый. Поэтому на такие варианты вводится запрет. Что касается ответов «да/нет», то в этом случае очень сильно повышается вероятность угадывания – с 25% при четырех вариантах ответов до 50%. Это, с моей точки зрения, слишком просто, и невозможно гарантировать проверку знаний, а не проверку логики.

Последний критерий относится к требованиям к количеству ответов: «3. 4. Минимум 4 варианта ответа для вида задания «один из многих»; минимум 5 вариантов ответа для вида задания «несколько из многих»». Дело в том, что вопрос вида «несколько из многих» сложнее угадать, вероятность угадывания существенно ниже, чем в вопросе вида «один из многих». Таким образом мы можем варьировать сложность теста наличием в пропорциях вопросов разных видов. Количество 4 и 5 ответов соответственно выбрано, исходя из опыта, это достаточное количество для обеспечения приемлемого процента угадывания.

Критерии группы 4 «Качество оформления тестового задания»

Наконец, последняя группа критериев посвящена оформлению тестовых заданий. Здесь, к сожалению, нет никакого стандарта, и каждый автор оформляет как получится: кто-то в конце вопроса ставит двоеточие, кто-то тире; ответы начинаются то с большой, то с маленькой буквы; в конце ответов ставится или нет точка. Чтобы упорядочить оформление, предлагаются критерии: «4.1. Формулировка задания утвердительной формы завершается двоеточием, ответы к заданию начинаются со строчной (маленькой) буквы (за исключением имен собственных). Если в качестве задания используется вопрос, ответы начинаются с прописной (большой) буквы. В конце ответов не ставится никаких знаков препинания» и «4.2. Правильные ответы приводятся в начале списка ответов, выделяются полужирным шрифтом, напротив ставится метка правильного ответа».

Как использовать систему критериев

Систему критериев можно использовать как для самооценки тестовых заданий авторами, так и для проведения экспертизы теста. При этом очень легко задать критерий качества тестового задания – нужно разработать его так, чтобы по всем критериям были «1» или, например, только один нолик – по критерию «2.4. Утвердительная форма формулировки задания». Исключение для этого критерия сделано, поскольку бывают ситуации, когда при преобразовании утверждение становится более сложным для понимания.

Система критериев встраивается в специальных шаблон для оформления тестового задания (этот шаблон можно сделать в табличном процессоре — например, MS Excel). Оценки по критериям можно выставлять прямо напротив тестового задания, одна строка – для самооценки, вторая – для оценки эксперта. Напомним, что экспертом может выступать неспециалист в предметной области, и он также здорово поможет автору теста выявить недостаточно качественные дистракторы. В идеале экспертов должно быть два: один —  неспециалист, другой – эксперт в предметной области.

Выводы

Использование стройной системы двоичных критериев качества тестовых заданий в шаблоне для разработки теста действительно позволяет создавать качественные тесты, гарантирует высокое качество разработки, минимум переделки и существенно облегчает процедуру объективной экспертизы теста.

При использовании этого шаблона, эксперту в предметной области будет легче разрабатывать тесты самостоятельно, не углубляясь в теорию тестологии. А методисту/тестологу будет гораздо проще проводить экспертизу теста и мотивированно объяснять автору теста, что нужно улучшить.

Система внедрена в Объединенной металлургической компании в процессах тестирования профессиональных знаний и оценки знаний нормативно-регламентирующей документации. Результаты ее апробации представлены на ряде Международных и Всероссийских конференций и получили высокую оценку участников [2].

Автор: Галина Троян
Эксперт-практик в области электронного обучения, тестирования знаний, автоматизации HR-процессов, канд. физ.-мат. наук, доцент

Автор статьи проводит 4-часовые групповые тренинги по разработке тестов знаний, как в очной, так и в дистанционной форме. За это время слушатели разрабатывают разнообразные тестовые задания в заданном шаблоне с проведением самооценки по системе критериев. Затем задания проходят экспертизу преподавателя и размещаются в системе электронного тестирования. Слушатели проходят общий групповой тест. По результатам прохождения теста проводится анализ, выявляются лучшие задания, и делается окончательный вывод о качестве разработанных тестовых заданий.

[1] Троян Г.М. Система оценки качества тестовых заданий закрытой формы // Материалы XXVII Международной конференции «Современные информационные технологии в образовании». 28 июня 2016 г. Троицк – Москва. С.225-226

[2] Троян Г.М. Контроль результатов обучения // 24-я сессия методического семинара Сбербанка «Результаты обучения: где грань контроля?». 30.01.2019. Выпуск EduTech, сс.15-17. https://edutechclub.sberbank-school.ru/node/63

[3] ЯЛТИНСКИЙ МЕЖДУНАРОДНЫЙ ЭКОНОМИЧЕСКИЙ ФОРУМ 2017. 20 апреля 2017, Ялта. Выступление на секции КАДРОВЫЕ ТЕХНОЛОГИИ ДЛЯ МАЛОГО И СРЕДНЕГО ПРЕДПРИНИМАТЕЛЬСТВА с докладом «Планирование корпоративного обучения с учетом оценки эффективности: подход, примеры, результаты»

[4] INDUSTRIALLEARNING: ОБУЧЕНИЕ НА ПРОИЗВОДСТВЕ. 5 октября 2018, Москва. Выступление с докладом КЕЙС: Организация электронного тестирования сотрудников по нормативно-регламентирующей документации

Поделиться

Пример упорядоченной матрицы

№ испытуемого i

№ задания j

Индивидуальный балл Xi

1

2

3

4

5

6

7

8

9

10

3

0

0

0

0

0

0

1

0

0

0

1

2

1

1

0

0

0

0

0

0

0

0

2

5

1

0

1

0

1

1

0

0

0

0

4

6

1

1

1

0

0

0

1

0

0

0

4

8

1

1

1

1

0

0

0

0

0

0

4

7

1

1

1

1

0

1

0

0

0

0

5

1

1

1

1

1

1

1

0

0

0

0

6

10

1

1

1

1

1

0

0

1

0

0

6

9

1

1

1

1

1

1

1

1

1

0

9

4

1

1

0

1

1

1

1

1

1

1

9

Число правильных ответов Yj

9

8

7

6

5

5

4

3

2

1

50

Характеристика тестовых заданий.

По результатам апробационного тестирования определяются характеристики тестовых заданий — трудность и дискриминативность.

Трудность тестовых заданий.

Трудность задания в классической теории тестов определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т.е. трудность задания — это доля учащихся, которые справились с заданием.

Т рудность задания вычисляется по формуле

где pj — доля правильных ответов на j-ое задание; Yj — количество испытуемых, выполнивших j — ое задание верно, N — число испытуемых в группе, j — номер задания. Или в процентах, Pj – трудность j – ого задания в процентах:

Из формулы видно, что

чем выше показатель трудности, тем задание легче, и соответственно,

чем меньше показатель трудности задания, тем задание сложнее.

Например, если p = 30 %, то это значит, что только 30% испытуемых справились с этим заданием, а если p = 70 %, то 70 % справилось с заданием, и получается, что первое задание сложнее, чем второе.

Иногда вводится доля неправильных ответов — q, которая определяется по формуле

q = 1 — p

Но по сложившейся традиции в рамках классической теории тестов трудность задания определяется как доля правильных ответов (p).

Показатель трудности очень важен для определения характеристики тестового задания и помогает проранжировать задания, входящие в тест по степени сложности. Благодаря этому можно определить место задания в тесте.

Напомним, что в правильно сконструированном тесте задания должны располагаться по нарастанию сложности, т.е. сначала даются самые легкие, далее все сложнее и сложнее.

В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением . Есть несколько самых легких с . Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60 — 70 % в критериально-ориентированном тесте и 40-60 % в нормативно-ориентированном.

В рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p=q=0,5, которые обеспечивают максимальную дисперсию теста

дисперсия .

Это произведение достигает максимального значения (0,5 х 0,5 = 0,25) при р = 0,5.

Анализ качества дистракторов в заданиях закрытой формы.

Одно из важнейших требований, которое предъявляется к заданиям закрытой формы, — это правдоподобность дистракторов (равноценная вероятность выбора дистрактора при неправильном ответе).

Оценка качества дистрактора называется дистракторным анализом. Дистракторный анализ предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. В таблице показано идеальное распределение долей.

Таблица

№ задания

1 ответ

2 ответ*

3 ответ

4 ответ

j

0,1

0,7

0,1

0,1

В таблице показано, что правильно выполнили задание (выбрали 2-й ответ) 70 % испытуемых. Остальные 30 %, которые дали неправильные ответы, равномерно выбрали 1, 3, 4 ответы, т.е. в задании были даны равновероятные дистракторы.

Но такая идеальная картина распределения выбора неправильных ответов в реальной практике встречается редко.

тестов с множественным выбором: что такое отвлекающий фактор?

Demme Learning · · Оставить комментарий

В Алгебра 1: Основы вторичной математики преподаватели увидят новую и очень полезную функцию для задач с множественным выбором: обоснование отвлечения. Но что именно является обоснованием отвлекающего фактора? Короче говоря, это причина того, почему в задаче с множественным выбором присутствуют неправильные ответы. Когда проблема разработана, включаются «отвлекающие» ответы, чтобы попытаться повлиять на выбор учащегося. Если учащийся отвечает неправильно, преподаватель обычно может определить, где пробел в понимании учащегося, исходя из того, какой ответ он выбрал. Знание и понимание причин отвлекающих факторов очень полезно для студентов, которые планируют сдавать вступительные экзамены в колледж или другие стандартизированные тесты.

Как выглядит обоснование отвлекающего фактора?

Давайте рассмотрим пример. Предположим, ваш студент сталкивается со следующим вопросом:

Определите значение частного для 10 и 2.

A) 5
B) 8
C) 12
D) 20

Слово частное имеет решающее значение для задачи. . Если учащийся выбирает вариант, отличный от A, вы можете использовать обоснование отвлекающего фактора, чтобы определить, что учащийся не знает значения слова частное 9.0008 . Посмотрите на варианты ниже, чтобы понять, почему были выбраны значения для B, C и D:

Определите значение частного для 10 и 2.

900 47
★ 6 Работа:
Частное — это решение задачи на деление.		 10 ÷ 2 = 5
B) 8 Это разница между 10 и 2 10 – 2 = 8
В) 12 Это сумма 10 и 2 10 + 2 = 12
D) 20 Это произведение 10 и 2 9 0035 (10)(2) = 20

Чем это может быть полезно для инструкторов?

Обоснование отвлекающих факторов важно, потому что оно помогает инструктору увидеть и понять, где происходят возможные недоразумения. Если вышеприведенный вопрос был задан учащемуся, и он выбрал B, C или D, преподаватель может попросить учащегося объяснить, что, по их мнению, означает значение слова частное. Затем можно просмотреть правильное определение, чтобы учащийся понял свою ошибку.

Обоснование отвлекающих факторов также является прекрасным способом вести беседы о математике. Поделившись им со своим учащимся, он может лучше понять, как написаны вопросы теста и где у них может быть неправильное понимание. Преподаватель может даже предложить своему ученику придумать собственное обоснование отвлекающего фактора. Затем можно провести конверсию о том, какие ключевые детали проблемы могут быть упущены из виду, что приведет к другим вариантам.

Другим вариантом является использование обоснования отвлечения после того, как учащиеся завершат модульные тесты, промежуточные и итоговые экзамены в Алгебра 1: Основы средней математики . После того, как тесты будут отмечены, неправильные ответы могут быть обсуждены с использованием обоснования. Это поможет вашим учащимся правильно усвоить материал, устраняя любые неправильные представления, прежде чем переходить к следующему блоку или уровню. Они также могут сделать тестовые исправления и письменно или устно объяснить, где они отвлеклись и как они могут исправить эту ошибку. Важно отметить, что представленное обоснование не является всеобъемлющим. Ваш ученик может провести мозговой штурм и по другим ответам, но это, как правило, самые распространенные ошибки.

Подготовка учащихся к сдаче теста

Большинство стандартизированных тестов, в том числе такие известные, как AP, ACT, SAT и CLT, используют формат множественного выбора для единообразия и простоты оценивания. Когда учащийся осознает причину отвлекающих факторов, он более подготовлен к прохождению этих тестов, потому что предвидит ответы на отвлекающие факторы — и у них больше уверенности!

Еженедельный информационный бюллетень

Подпишитесь на еженедельный информационный бюллетень Demme Learning, чтобы получать последние сообщения в блоге.

Предыдущий пост Следующий пост

Математика

Взаимодействие с читателем

Написание эффективных вопросов с несколькими вариантами ответов

Последняя редакция: 01.02.2022, автор bjg

Обзор:

В этом посте представлены рекомендации по составлению оценочных вопросов с несколькими вариантами ответов.

Хотя вопросы с несколькими вариантами ответов могут использоваться для измерения ряда различных результатов обучения, достоверность этих оценок во многом зависит от того, насколько хорошо составлены вопросы. Используйте это руководство, чтобы написать вопросы с несколькими вариантами ответов как для более низкого, так и для более высокого уровня результатов обучения.

Во-первых, давайте разберем компоненты вопроса с множественным выбором:

 

Основа вопроса:

  1. Совместите основу с результатом обучения (см. Составление целей обучения). сформулировали для студентов. Кроме того, не используйте вопрос с несколькими вариантами ответов, когда другой тип вопроса может лучше оценить результат.
  2. Напишите основу как вопрос или часть предложения, которое может включать графики, карты или другие графические материалы. Примечание: Вопросы с множественным выбором с заполнением пустого типа создают более высокую когнитивную нагрузку для учащихся, поскольку им необходимо держать весь вопрос в рабочей памяти, пока они прогоняют каждый потенциальный вариант вопроса.
  3. Избегайте нерелевантных материалов — это может снизить надежность оценок.
  4. Опишите одну проблему или укажите основную идею в основе/вопросе. Студенты должны иметь возможность определить проблему из вопроса, а не путем просмотра вариантов.
  5. Напишите стебель просто и ясно. Это особенно важно для иностранных студентов, чей родной язык не может быть английским.
  6. Вопросы с отрицательной формулировкой и двойные отрицательные вопросы «Что из нижеперечисленного с наименьшей вероятностью является законом или политикой, направленной на прекращение расовой сегрегации?» сбивают с толку учащихся, особенно тех, для кого английский язык не является родным. Ученые-исследователи рекомендуют избегать двойного отрицательного вопроса, чтобы оценка оставалась достоверной.
  7. Пишите вопросы только с одним правильным или лучшим ответом.
  8. Убедитесь, что ваша грамматика и правописание верны, чтобы не запутать учащихся. Студенты будут склонны выбирать наиболее грамматически правильный ответ, который может быть неправильным ответом.

 

Отвлекающие или альтернативные варианты:

Отвлекающие или альтернативные варианты — это ответы, отличные от правильного ответа.

  1. Отвлекающие факторы должны быть правдоподобными. Легкие или глупые отвлекающие факторы снижают достоверность оценки.
  2. Все дистракторы должны быть примерно одинаковой длины и уровня детализации. Студенты, хорошо сдающие тесты, используют длину ответа как подсказку к правильному ответу. Более длинные ответы часто являются правильным ответом – некоторые ученики это знают.
  3. Выберите оптимальное количество дистракторов. Хотя по этому поводу еще могут быть споры, исследования показывают, что учащиеся одинаково хорошо справляются с викторинами с тремя вариантами (1 правильный ответ и два отвлекающих фактора), а также с четырьмя или пятью вариантами. Почему? Студенты не выбирают многие отвлекающие факторы, потому что они неправдоподобны, что делает их нефункциональными. Необходимость писать меньше отвлекающих факторов упрощает создание викторины и занимает меньше времени.
  4. Избегайте двойных отрицаний. Отрицательно сформулированные вопросы и двойные отрицательные вопросы «Что из нижеперечисленного наименее вероятно будет спекулятивной покупкой?» сбивают с толку учащихся, особенно тех, для кого английский язык не является родным. Ученые-исследователи рекомендуют избегать двойного отрицательного вопроса, чтобы оценка оставалась достоверной.
  5. Избегайте «всего вышеперечисленного» и «ничего из вышеперечисленного». Тестируемые, которые могут определить, что существует более одного правильного выбора, будут знать, что ответ будет «все вышеперечисленное». Когда используется «ни один из вышеперечисленных», тестируемому просто нужно определить, является ли один из ответов правильным, и если да, то он знает, что это не может быть «ни один из вышеперечисленных». Студентам не нужно смотреть дальше или думать о проблеме. В любом случае учащиеся могут использовать неполные знания, чтобы получить правильный ответ, что делает тест менее достоверным.
  6. Перепутайте порядок ответов. Преподаватели часто делают b или c правильным ответом. Избегайте шаблонов, которые позволяют учащимся правильно угадывать правильный ответ, смешивая порядок ваших вариантов. Настройки в HuskyCT:

  7. Избегайте вопросов с подвохом. Цель оценивания — проверить знания учащихся, а не обмануть учащихся. Чрезмерное усложнение тестового вопроса и ответов НЕ делает оценку более строгой и может повлиять на достоверность теста.

 

Измерение мышления более высокого порядка в вопросах с множественным выбором

Хотя многие вопросы с множественным выбором написаны для оценки навыков знания и понимания, также можно написать вопросы для навыков мышления более высокого порядка.

Чтобы измерить мышление более высокого порядка, рассмотрите следующее:
  1. Напишите основу, которая соответствует цели обучения более высокого уровня (применение, анализ, оценка, создание — система таксономии Блума) 
  2. Напишите основу, которая требует мультилогического мышления: мультилогическое мышление требует знания более чем одного факта, чтобы применить его к проблеме.
  3. Дистракторы должны проходить тщательную проверку.
Несколько способов написания вопросов с несколькими вариантами ответов более высокого порядка:
  1. Переворачивание предметов:
    • В этом типе вопроса представьте основной элемент в основе и попросите учащегося определить лежащее в основе правило или понятие в вариантах ответа. Учащийся должен иметь полное представление о концепциях отвлекающих факторов, чтобы правильно ответить на вопрос.
  2. Использование высококачественных дистракторов:
    • Все отвлекающие факторы должны быть правдоподобными, без подсказок, чтобы учащиеся были вынуждены оценивать каждый ответ.
    • Попросите учащегося выбрать «лучший» ответ, а не правильный вариант. Убедитесь, что правильный ответ «более правильный», чем отвлекающие факторы.
  3. Попросите учащихся объяснить правильный выбор ответа или почему неправильные ответы не применимы, используя интерпретацию графической информации, например. данные соответствующего эксперимента.

 

Ссылки:

Chiavaroli, Neville (2017) «Отрицательно сформулированные вопросы с несколькими вариантами ответов: угроза достоверности, которой можно избежать», «Практическая оценка, исследования и оценка: Vol. 22, Статья 3. DOI: https://doi.org/10.7275/5vvy-8613 Доступно по адресу:

Халадина, Томас М., Стивен М. Даунинг и Майкл С. Родригес. «Обзор рекомендаций по написанию заданий с множественным выбором для оценивания в классе». Прикладные измерения в образовании 15.3 (2002): 309-333.

Кентский государственный университет. Лайтнер, Дж. (2017). Написание эффективных вопросов с несколькими вариантами ответов. Получено 24 сентября 2020 г. с https://www-s3-live.kent.edu/s3fs-root/s3fs-public/file/Teaching%20Tools%20in%20A%20Flash%20-%20Writing%20Good%20Multiple%20Choice. %20Questions%20-%20Final.pdf

Раймонд, М. Р., Стивенс, К., и Букак, С. Д. (2019). Оптимальное количество вариантов вопросов с несколькими вариантами ответов в тестах с высокими ставками: применение пересмотренного индекса для выявления нефункциональных дистракторов. Достижения в области медицинского образования: теория и практика , 24 (1), 141–150. https://doi.org/10.1007/s10459-018-9855-9

Скалли, Дарина (2017) «Создание элементов с множественным выбором для измерения мышления более высокого порядка», Практическая оценка, исследования и оценка : Том . 22, Статья 4. DOI: Доступно по адресу: https://scholarworks.umass.edu/pare/vol22/iss1/4

Университет Вандербильта. Брэйм, К., (2013) Написание хороших тестовых вопросов с несколькими вариантами ответов. Получено 24 сентября 2020 г.