Дистракторы в тестовых заданиях это: ДИСТРАКТОР это

Опубликовано 24.09.202108.03.2023 автором alexxlab

Содержание

Тестовые задания: как разработать неправильные ответы

Для обеспечения качества учебного процесса учителя и преподаватели сталкиваются с задачами повышения надежности измерений знаний учащихся с помощью тестов.
В образовательной практике наиболее популярны тестовые задания с выбором одного правильного ответа из нескольких.

Педагоги и методисты часто задаются вопросами:

Как придумать неправильные ответы?
Сколько их должно быть в одном задании?
Как проверить, что тестовое задание действительно отличает тех учащихся, кто знает, от тех, кто не знает.

На эти и другие вопросы по методике конструирования тестов знаний участники вебинара получат ответы от ведущих российских экспертов в области тестологии и компьютерного тестирования.

Внимание! Время проведения вебинара московское с 13.00 до 14.30, в четверг 20 мая 2021 г.

Научная экспертиза с многолетней практикой компьютерного тестирования

Вы получите рекомендации ведущих российских экспертов по разработке тестов знаний.

Технологии для разработчиков тестов

Вы познакомитесь с возможностями системы HT-Line, которые помогают разработчикам тестов проверить качество тестовых заданий.

Сертификаты и призы активным участникам

Слушатели вебинара получат электронный сертификат, а самые активные участники дополнительный подарок.

Скидки на обучение

Скидка 20% на обучение на онлайн-курсе «Конструирование тестов знаний».

Программа вебинара

Подходы к разработке неправильных ответов (дистракторов) в тестовых заданиях закрытого типа.
Как количество ответов в тестовом задании влияет на случайное угадывание, сколько дистракторов нужно, чтобы снизить вероятность угадывания.
Как понять, что дистракторы «работают»? На примере возможностей системы HT-Line.

Вместе с экспертами участники не только рассмотрят методические рекомендации к тестовым заданиям, но и разберут конкретные примеры, а также увидят, как качество тестовых заданий проверяет система HT-Line.

Ведущие

Александр Георгиевич Шмелев

Заслуженный профессор МГУ им. М.В. Ломоносова, доктор психологических наук, основатель группы компаний «Гуманитарные Технологии»

Более 40 лет опыта практической разработки тестовых методик и преподавания тестологии.
А. Г. Шмелев руководил разработкой компьютеризированных систем тестирования, в том числе таких как ТЕЛЕТЕСТИНГ, MAINTEST, ПРОФОРИЕНТАТОР, К-ЕГЭ, HT-LINE.
Автор свыше 200 научных и научно-популярных публикаций.
Под руководством А.Г. Шмелева защищено более 20 дипломных работ и 9 кандидатских диссертаций.
Автор книги «Практическая тестология. Тестирование в образовании, прикладной психологии и управлении персоналом».

Арсений Белорусец

Эксперт Инновационного Центра «Гуманитарные Технологии»

Окончил факультет психологии МГУ им. М.В. Ломоносова.
Более 10 лет практической разработки тестовых методик.
Автор научных публикаций, ведущий программ обучения конструированию тестов знаний для педагогов и специалистов по оценке персонала.

Сбалансированность тестовых заданий как один из важных элементов обеспечения их качества

Библиографическое описание:

Атоев, Э. Х. Сбалансированность тестовых заданий как один из важных элементов обеспечения их качества / Э. Х. Атоев, Г. А. Гафурова. — Текст : непосредственный // Молодой ученый. — 2016. — № 3 (107). — С. 775-777. — URL: https://moluch.ru/archive/107/24751/ (дата обращения: 08.03.2023).

&nbsp&nbsp

В статье обсуждается балансированность дистракторов тестовых заданий, используемых при контроле знаний учащихся, приводятся экспериментальные результаты в виде таблиц и круговых диаграмм.

Ключевые слова: сбалансированность, дидактический тест, дистрактор, информационный файл, диагностическая эффективность, дисперсия дистракторов,

Информация о сбалансированности тестовых заданий позволяет оценить как качество дидактического теста, так и научно-методический уровень разработчика.

Предложенный нами алгоритм основан на статистическом анализе распределения дистракторов и включает следующие этапы:

 из информационного файла «арбитраж» считывается информация о результатах дидактического тестирования: количество респондентов, общее количество ответов по каждому заданию и по каждому его дистрактору, частота предъявления каждого задания.

 вычисление кумулятивной (накопленной) частоты дистракторов и перевод в %-ное значение, путем их деления на общее количество ответов по данному заданию. Причем суммарная накопленная частотность всегда равна общему количеству ответов по данному заданию и принимается равным 100 %.

Анализ сбалансированности заданий проводятся, исходя из следующих заданных условий:

 частотность выбора дистракторов должна быть нормированной, (например, в %-ах), что повышает корректность сравнительного анализа их значений;

 если частота выбора дистрактора (A %, Б %, B %, Г %) меньше или равно 5 %, то данный дистрактор не работает, т. е. не привлекает внимание обследуемых;

 если частота выбора дистрактора (A %, Б %, B %, Г %) больше или равно 90 %, то данный дистрактор также не работает («чрезмерно привлекает» внимание респондентов, например, правильный ответ слишком легко распознать), что резко снижает диагностическую эффективность задания;

 если одновременно два и более дистракторов подпадают под условия пунктов (а, б), то данное задание должно быть заменено другим.

В нашем примере анализ полученных результатов показывает, что из 40 тестовых заданий рубежного контроля по изученному разделу 8 заданий имеют по одному неработающему дистрактору и должны быть доработаны.

Сбалансированность тестовых заданий и самого теста удобно представить в виде круговой диаграммы (рис. 1).

В качестве примера отдельные результаты анализа сбалансированности дистракторов тестовых заданий приведены в таблице 1.

Таблица 1

Анализ сбалансированности тестовых заданий

№ вопроса	Кол-во ответов	Верный ответ	Частотность дистракторов								Вывод о баланс.
№ вопроса	Кол-во ответов	Верный ответ	А	A %	Б	Б %	В	B %	Г	Г %	Вывод о баланс.
1 2 29 37 40	39 45 33 42 37	14А 31А 8А 13А 15А	14 31 8 13 15	35 68 24 31 4	12 6 12 11 5	3 13 36 26 13	10 2 6 7 10	25 04 18 17 27	3 6 7 11 7	07 13 21 26 18	БАЛАНС НЕ РАБ. В БАЛАНС БАЛАНС БАЛАНС
40	1667	806	806	47	8.6	2	234	5.4	282	6. 6

Рассмотрим причины различной сбалансированности на примере отдельных тестовых заданий — № 27 и № 37.

Задание № 27:

27. Укажите электродную пару, необходимую для определения активности нитрат иона в водном растворе?

Варианты ответа:

А — рNО3 — Аg / АgCI, КСI насыщ.

Б — рNО3 — стандартный водородный электрод

В — рК — Аg / АgСI, КCI насыщ.

Г — рNO3 — насыщенный каломельный электрод.

Дисперсия дистракторов:

А-31 чел., Б-6 чел., В-2 чел., Г-6 чел. (всего 45 чел.). A % -69 %;

Б — 13 %; В — 4 %; Г — 13 %. (всего 100 %).

ЗАДАНИЕ № 37

37. Как вычисляется величина постоянной кондуктометрической ячейки?

Варианты ответа:

К ячейки= Rсреднее(0,01М КСI)* Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,01М КСI)- Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,01М КСI)+ Xудельн.электр.(0,01М КСI) К ячейки= Rсреднее(0,2 М КСI)* Xудельн.электр.(0,01М КСI)

Как видно, из табл.1, дисперсия дистракторов в этом случае составляет:

А-13 чел.; Б-11 чел.; В-7 чел.; Г-11 чел. (всего — 40 чел.), A % -31 %; Б — 26 %; В-17 % и Г — 26 %. (всего 100 %), т. е. задание N % 37 может служит примером оптимальной сбалансированности дистракторов.

Это, видимо, обусловлено равномерной смысловой нагрузкой вариантов ответа, структура и информационные элементы которых весьма близки, а элементы неверных ответов спрятаны посредством использования неброских обозначений (*, +, -, C = 0,001 M).

Рис. 1. Результаты сбалансированности дистракторов

Литература:

Абдукадиpов А. Адолатли усул. // Халк таълими. 1994. N % 3–4.
Михайлычев Е. А., Норов Ш. К. Дидактические тесты в системе многоэтапного контроля знаний студентов: — Бухара, 1993.
Норов Ш. К., Ниязхонов Т. Н., Маджидов М. А. Контрольно-тестирующие программы с таймером и журналом регистрации. // ИНФО. — 1992. — N % 2.
Фарберман Б. Л. Методика разработки и применения педагогических тестов. — Т.: РУМЦ, 1995.

Основные термины (генерируются автоматически): задание, вариант ответа, БАЛАНС, дидактический тест, информационный файл, частота выбора.

Ключевые слова

, дистрактор, сбалансированность, дидактический тест, информационный файл, диагностическая эффективность, дисперсия дистракторов

сбалансированность, дидактический тест, дистрактор, информационный файл, диагностическая эффективность, дисперсия дистракторов,

Анализ отвлекающих факторов для тестовых заданий

Анализ отвлекающих факторов относится к процессу оценки производительности неправильных ответов по сравнению с правильным ответом для заданий с множественным выбором в тесте. Это ключевой шаг в процессе психометрического анализа для оценки характеристик элемента и теста как части документирования надежности и валидности теста.

Что такое дистрактор?

Вопросы с несколькими вариантами ответов всегда имеют несколько вариантов ответа, один из которых является ключевым/правильным ответом, а остальные отвлекающими/неправильными ответами. Стоит отметить, что отвлекающими факторами должны быть не просто неправильные ответы, а вероятные ответы на случай, если испытуемый ошибется при поиске правильного варианта. Короче говоря, отвлекающие факторы — это возможные ответы, которые испытуемый может выбрать, делая неправильные суждения или имея частичное знание/понимание. Отличный пример приведен далее в этой статье со словом «кондитер».

После того, как тестовая форма доставлена испытуемым, следует провести анализ отвлекающих факторов, чтобы убедиться, что все варианты ответов работают правильно, а задание выполняется хорошо и надежно. Например, ожидается, что около 40-95% учащихся выберут правильный ответ, а дистракторы выберет меньшее число испытуемых по сравнению с числом выбравших ключ при примерно равном распределении вариантов.

Дистракторный анализ обычно проводится с помощью классической теории тестирования, даже если теория отклика на задание используется для подсчета очков, приравнивания и других задач.

Как сделать анализ дистрактора

Есть три основных аспекта:

Вариант частоты/пропорции
Опция двухрядная точка
График квантилей

Параметр частоты/пропорции просто относится к анализу того, сколько испытуемых выбрали каждый ответ. Обычно это пропорция, обозначенная буквой «P». Выбрали ли 70% правильный ответ, а оставшиеся 30% были равномерно распределены между тремя отвлекающими факторами? Большой. Но если только 40% выбрали правильный ответ, а 45% выбрали один из отвлекающих факторов, у вас могут возникнуть проблемы. Возможно, ответ, указанный в качестве ключа, на самом деле неверен.

Точечные бисериалы (Rpbis) помогут вам оценить, так ли это. Бисерийный ряд — это корреляция по элементу и сумме, означающая, что мы соотносим баллы по элементу с общим баллом по тесту, который является прокси-индексом способностей испытуемого. Если 0,0, связи нет, что означает, что предмет не коррелирует со способностями и, следовательно, вероятно, не приносит никакой пользы. Если отрицательный, это означает, что учащиеся с более низкими способностями выбирают его чаще; если положительный, это означает, что ученики с более высокими способностями выбирают его чаще. Мы хотим, чтобы правильный ответ имел положительное значение, а отвлекающие факторы — отрицательное. Это один из самых важных моментов в определении того, хорошо ли работает предмет.

Кроме того, существует третий подход, визуальный, который называется квантильным графиком. Это очень полезно для диагностики того, как работает элемент и как его можно улучшить. Это разбивает выборку на блоки, упорядоченные по эффективности, например, на 5 групп, где группа 1 – 0–20-й процентиль, группа 2 – 21-40 процентиль и т. д. низкая доля выбора дистракторов, и наоборот. Вы можете видеть, как это согласуется с концепцией точечного бисериала. Пример этого ниже.

Обратите внимание, что P и двухрядная точка для правильного ответа служат статистикой «the» для задания в целом. P для предмета называется сложностью предмета или статистикой объекта.

Примеры анализа дистрактора

Вот пример хорошего предмета. Среднее значение P (67% правильных ответов), а Rpbis сильно положительное для правильного ответа и сильно положительное для неправильных ответов. Это приводит к чистому графику квантилей, где кривая для правильного ответа (B) идет вверх, а кривая для неправильных ответов идет вниз. Идеальная ситуация.

Теперь сравните это со следующим пунктом. Здесь правильно ответили только 12% испытуемых, а Rpbis был отрицательным. Ответ C имел 21% и положительное значение Rpbis, а также кривую квантиля, которая идет вверх. Этот элемент должен быть пересмотрен, чтобы убедиться, что C действительно верен. Или Б, на который было больше всего ответов. Скорее всего, этот пункт нужно будет полностью переписать!

Обратите внимание, что элемент может быть чрезвычайно сложным, но при этом выполняться хорошо. Вот пример, когда анализ отвлекающих факторов поддерживает дальнейшее использование предмета. Дистрактор просто чрезвычайно привлекателен для младших школьников; они думают, что кондитер делает конфетти, так как эти два слова выглядят близко. Посмотрите, какой сильный здесь Rpbis, и очень негативный для этого дистрактора. Это хороший результат!

Натан Томпсон, доктор философии

Натан Томпсон, доктор философии, генеральный директор и соучредитель Assessment Systems Corporation (ASC). Он специалист по психометрии, разработчик программного обеспечения, автор и исследователь, а также проповедник ИИ и автоматизации. Его миссия состоит в том, чтобы поднять профессию психометрика на новый уровень, используя программное обеспечение для автоматизации психометрической работы, такой как просмотр предметов, анализ работы и исследования Ангоффа, чтобы мы могли сосредоточиться на более инновационной работе. Его основная цель — улучшить оценку во всем мире.

Нейт изначально обучался психометрии, получил диплом с отличием в Лютер-колледже с тройной специализацией по математике/психологии/латыни, а затем получил докторскую степень по психометрии в Университете Миннесоты. Затем он работал на нескольких должностях в индустрии тестирования, включая составителя заданий, менеджера по разработке тестов, составителя эссе, психолога-консультанта, разработчика программного обеспечения, руководителя проекта и бизнес-лидера. Он также является соучредителем и директором по членству в Международной ассоциации компьютеризированного адаптивного тестирования (iacat.org). Он опубликовал более 100 статей и презентаций, но его любимым остается https://scholarworks.umass.edu/pare/vol16/iss1/1/.

Образование

Геймификация в обучении и оценке

Геймификация в оценивании и психометрии открывает новые возможности для повышения качества экзаменов. В то время как большинство взрослых относятся к играм с опаской

Лайла Исаева, MSc 13 февраля 2023 г.

Статистика

Метаанализ и валидация тестов в психологических измерениях

Метаанализ – это исследовательский процесс сопоставления данных нескольких независимых, но схожих научных исследований с целью выявления общих тенденций и результатов с помощью средств

Лайла Исаева, магистр 17 января 2023 г.

Написание хороших тестовых вопросов с несколькими вариантами ответов | Центр обучения

Процитируйте это руководство: Brame, C. (2013) Написание хороших тестовых вопросов с несколькими вариантами ответов. Получено [todaysdate] с https://cft.vanderbilt.edu/guides-sub-pages/writing-good-multiple-choice-test-questions/.

Изготовление эффективного ствола
Создание эффективных альтернатив
Дополнительные рекомендации по вопросам с несколькими вариантами ответов
Рекомендации по написанию заданий с несколькими вариантами ответов, которые проверяют мышление высшего порядка
Дополнительные ресурсы

Тестовые вопросы с множественным выбором, также известные как задания, могут быть эффективным и действенным способом оценки результатов обучения. Тестовые задания с множественным выбором имеют несколько потенциальных преимуществ:

Универсальность: Тестовые задания с множественным выбором могут быть написаны для оценки различных уровней результатов обучения, от базового запоминания до применения, анализа и оценки. Однако, поскольку учащиеся выбирают из набора возможных ответов, существуют очевидные ограничения на то, что можно проверить с помощью заданий с множественным выбором. Например, они не являются эффективным способом проверки способности учащихся организовывать мысли, формулировать объяснения или творческие идеи.

Надежность: Надежность определяется как степень, в которой тест последовательно измеряет результат обучения. Тестовые задания с множественным выбором менее подвержены угадыванию, чем вопросы «верно/неверно», что делает их более надежным средством оценки. Надежность повышается, когда увеличивается количество элементов ОК, ориентированных на одну цель обучения. Кроме того, объективная оценка, связанная с заданиями теста с множественным выбором, освобождает их от проблем с несогласованностью результатов, которые могут мешать оценке вопросов эссе.

Валидность: Валидность – это степень, в которой тест измеряет результаты обучения, для измерения которых он предназначен. Поскольку учащиеся обычно могут ответить на вопрос с несколькими вариантами ответов гораздо быстрее, чем на вопрос эссе, тесты, основанные на вопросах с несколькими вариантами ответов, обычно могут быть сосредоточены на относительно широком представлении материала курса, что повышает достоверность оценки.

Однако ключом к использованию этих сильных сторон является создание хороших элементов с множественным выбором.

Элемент с множественным выбором состоит из проблемы, известной как основа, и списка предлагаемых решений, известных как альтернативы. Альтернативы состоят из одной правильной или лучшей альтернативы, которая является ответом, и неправильных или худших альтернатив, известных как отвлекающие факторы.

Создание эффективного ствола

1. Основа должна иметь смысл сама по себе и должна представлять определенную проблему. Основа, представляющая определенную проблему, позволяет сосредоточиться на результате обучения. Тем не менее, основа, которая не представляет собой явной проблемы, может проверять способность учащихся делать выводы из расплывчатых описаний, а служить более прямой проверкой достижения учащимися результатов обучения.

2. Основа не должна содержать нерелевантный материал , который может снизить надежность и достоверность результатов теста (Haldyna and Downing 1989).

3. Основу следует формулировать отрицательно только тогда, когда этого требуют важные результаты обучения. Учащиеся часто испытывают трудности с пониманием заданий с отрицательной формулировкой (Rodriguez 1997). Если значительный результат обучения требует отрицательной формулировки, например, указание на опасные лабораторные или клинические практики, отрицательный элемент следует выделить курсивом или с заглавной буквы.

4. Основа должна быть вопросом или частью предложения. Основа вопроса предпочтительнее, потому что она позволяет учащемуся сосредоточиться на ответе на вопрос, а не удерживать часть предложения в рабочей памяти и последовательно завершать его с каждой альтернативой (Statman 19).88). Когнитивная нагрузка увеличивается при построении стебля с начальной или внутренней заготовкой, поэтому такой конструкции следует избегать.

Создание эффективных альтернатив

1. Все альтернативы должны быть правдоподобными. Функция неверных альтернатив состоит в том, чтобы служить отвлекающими факторами, которые должны выбираться учащимися, не достигшими результата обучения, но игнорироваться учащимися, достигшими результата обучения. Неправдоподобные альтернативы не служат функциональными отвлекающими факторами и поэтому не должны использоваться. Распространенные ошибки учащихся являются лучшим источником отвлекающих факторов.

2. Альтернативы должны быть сформулированы четко и кратко. Чрезмерно многословные задания оценивают способности учащихся к чтению, а не достижение ими цели обучения

3. Альтернативы должны быть взаимоисключающими. Альтернативы с перекрывающимся содержанием могут рассматриваться тестируемыми как «уловки», чрезмерное использование которых может подорвать доверие и уважение к процессу тестирования.

4. Альтернативы должны быть однородными по содержанию. Альтернативы, неоднородные по содержанию, могут подсказать учащимся правильный ответ.

5. Альтернативы не должны содержать указаний на правильный ответ. Искушенные тестируемые внимательно относятся к непреднамеренным подсказкам к правильному ответу, таким как различия в грамматике, длине, форматировании и выборе языка в альтернативных вариантах. Поэтому важно, чтобы альтернативы

имеют грамматику, соответствующую основе.
параллельны по форме.
одинаковы по длине.
используют аналогичный язык (например, все в отличие от языка учебника или все похожи на язык учебника).

6. Варианты «все вышеперечисленное» и «ничего из вышеперечисленного» использовать не следует. Когда в качестве ответа используется «все вышеперечисленное», тестируемые, которые могут определить более одной альтернативы как правильную, могут выбрать правильный ответ, даже если не уверены в других альтернативах. Когда в качестве альтернативы используется «ничего из вышеперечисленного», испытуемые, которые могут исключить один вариант, могут, таким образом, исключить второй вариант. В любом случае учащиеся могут использовать неполные знания, чтобы получить правильный ответ.

7. Альтернативы должны быть представлены в логическом порядке (например, в алфавитном или числовом порядке), чтобы избежать смещения в сторону определенных позиций.

8. Количество альтернатив может варьироваться в зависимости от элемента, если все альтернативы правдоподобны. Вероятные альтернативы служат функциональными отвлекающими факторами, которые выбираются учащимися, не достигшими цели, но игнорируются учащимися, достигшими цели. Между заданиями, содержащими два, три и четыре отвлекающих фактора, разница в сложности, различении и достоверности результатов теста незначительна.

Дополнительные указания

1. Избегайте сложных заданий с множественным выбором , в которых некоторые или все альтернативы состоят из различных комбинаций вариантов. Как и в случае ответов «все вышеперечисленные», искушенный тестируемый может использовать неполные знания для получения правильного ответа.

2. Конкретное содержимое элементов должно быть независимым друг от друга. Сообразительные тестируемые могут использовать информацию, содержащуюся в одном вопросе, для ответа на другой вопрос, что снижает достоверность теста.

Дополнительные ресурсы

Бертон, Стивен Дж., Судуикс, Ричард Р., Меррилл, Пол Ф. и Вуд, Бад. Как лучше подготовить тестовые задания с множественным выбором: руководство для преподавателей университетов, 1991.
Чунг, Дерек и Букэт, Роберт. Как мы можем создать хорошие задания с несколькими вариантами ответов? Представлено на научно-технической образовательной конференции, Гонконг, 20-21 июня 2002 г.
Халадина, Томас М. Разработка и проверка тестовых заданий с множественным выбором, 2 ^{-е издание}. Lawrence Erlbaum Associates, 1999.
Халадина, Томас М. и Даунинг, С. М.. Действительность таксономии правил написания элементов с множественным выбором. Прикладные измерения в образовании , 2(1), 51-78, 1989.

Тестовые задания: как разработать неправильные ответы

Программа вебинара

Ведущие

Сбалансированность тестовых заданий как один из важных элементов обеспечения их качества

Ключевые слова

Похожие статьи

Методика формирования

Методика определения количества тестовых

Исследование процессов обработки и преобразования параметров…

Методика анализа селективности тестовых

Модификация подсистемы контроля знаний LMS Moodle для…

Использование

Разновидности

Использование тестового контроля на примере системы Moodle…

Методика формирования

Методика определения количества тестовых

Исследование процессов обработки и преобразования параметров…

Методика анализа селективности тестовых

Модификация подсистемы контроля знаний LMS Moodle для…

Использование

Разновидности

Использование тестового контроля на примере системы Moodle…

Похожие статьи

Методика формирования

Методика определения количества тестовых

Исследование процессов обработки и преобразования параметров…

Методика анализа селективности тестовых

Модификация подсистемы контроля знаний LMS Moodle для…

Использование

Разновидности

Использование тестового контроля на примере системы Moodle.

Методика формирования

Методика определения количества тестовых

Исследование процессов обработки и преобразования параметров…

Методика анализа селективности тестовых

Модификация подсистемы контроля знаний LMS Moodle для…

Использование

Разновидности

Использование тестового контроля на примере системы Moodle…

Анализ отвлекающих факторов для тестовых заданий

Что такое дистрактор?

Как сделать анализ дистрактора

Примеры анализа дистрактора

Геймификация в обучении и оценке

Метаанализ и валидация тестов в психологических измерениях

Написание хороших тестовых вопросов с несколькими вариантами ответов | Центр обучения

Создание эффективного ствола

Создание эффективных альтернатив

Дополнительные указания

Рекомендации по написанию заданий с множественным выбором, которые проверяют мышление более высокого порядка

Дополнительные ресурсы

Добавить комментарий Отменить ответ

Рубрики