Alexander Sayapin Teacher's site

Методика вычисления оценки тестирования

Posted on Fri 14 April 2017

In Общие вопросы.

tags: тест критерии


Как вы знаете, в своих курсах при выставлении аттестации я использую учет выполненных работ (которые в сумме дают 15 баллов за модуль) и оценку за тест, которая может дать от 0 до 10 баллов к каждой вашей аттестации. Как же вычисляются эти баллы?

Предположим, вы отвечаете тест, состоящий из двух заданий:

1. Какого цвета небо?
* синего (+)
* зеленого (-)
* желтого (-)

2. Для получения зачета нужно:
* сдать все работы в семестре (+)
* набрать не менее 51 балла за семестр (+)

Как вы уже знаете, в каждом из заданий вы должны пометить те варианты ответов, которые считаете правильными, причем в одном задании может быть несколько правильных ответов.

В первом задании правильным является вариант ответа номер 1, а во втором правильными вариантами ответов являются все. Таким образом, всего в тесте содержится 3 варианта ответов, которые вы должны пометить, и 2 - которые не должны.

Предположим, что отвечая на задания теста, вы в первом задании пометили вариант номер 1 как правильный, а во втором вы отметили первый вариант ответа, но не отметили второй.

1. Какого цвета небо?
* + синего (+)
* - зеленого (-)
* - желтого (-)

2. Для получения зачета нужно:
* + сдать все работы в семестре (+)
* - набрать не менее 51 балла за семестр (+)

(здесь плюс/минус в начале строки - ваш ответ, плюс/минус в конце строки - правильность варианта ответа)

Определим, какое количество баллов вы получите.

Во всем тесте содержится 3 варианта ответов, которые нужно пометить как правильные, и 2, которые помечать как правильные не нужно. Вычислим процент правильных ответов:

по правильным вариантам вы дали 2 / 3 * 100% = 66.66% правильных ответов (пометили 2 из трех вариантов, которые должны были пометить), а по неправильным 2 / 2 * 100% = 100% правильных ответов (не пометили 2 варианта ответа из двух, которые помечать были не должны).

Из этих двух чисел выбирается наименьшее, то есть 66,66%. Таким образом, считается, что вы дали 66,66% правильных ответов. На этом расчет не заканчивается!

Далее программа тестирования "отвечает" на вопросы именно вашего теста случайным образом, повторяя этот процесс 8000 раз, имитируя ответы студента, который не знает материал, а просто отвечает на вопросы теста наугад. В результате такого моделирования определяется, какой процент правильных ответов с какой вероятностью можно получить.

Получаем диграмму приблизительно следующего вида:

Диаграмма распределения вероятности ответов

В данной гистограмме ось x соответствует проценту правильных ответов, а ось y - вероятности случайно получить данный процент правильных ответов. Здесь видно, что, например, 40% правильных ответов можно получить в четверти всех попыток (вероятность 0.25, или 25%), а 60% правильных ответов - примерно в 1 попытке из 20 (вероятность 0.05, или 5%). Пожалуйста, учтите, что данная гистограмма не соотвествует данному тесту и приведена только в качестве иллюстрации принципов работы системы.

Далее программа выбирает наибольший процент правильных ответов с вероятностью, близкой к 5% (для данной диаграммы это и будет 60%). Это число выбирается в качестве верхней границы теста. Считается, что если ваш процент правильных ответов выше этой цифры, то вы отвечали не случайным образом, а действительно знаете материал. Если же ваш процент правильных ответов меньше верхней границы теста, то ваши ответы не отличаются от случайных.

Теперь, зная ваш процент правльных ответов (66%), и верхнюю границу теста (60%), можно определить количество баллов, которые вы получите. Его можно определить, считая, что проходная граница теста (60% правильных ответов) соответствует 0 баллов, а 100% правльных ответов - 100 баллам:

Диаграмма распределения вероятности ответов

Расчет соответствует пропорции

(процент правильных ответов - проходная граница теста) / (100 - проходная граница теста),

а именно, в данном случае

(66 - 60) / (100 - 60) = 0.15.

Таким образом, набрав при ответе 66% правильных ответов, для теста, в котором верхняя граница равна 60%, вы получите 15 баллов и успешно пройдете тест.

Помните, в по окончании тестирования вы видите три числа: полученный балл - это то, что вас интересует больше всего, количество баллов, полученное в результате тестирования. Разделите это число на 10 - и вы узнаете, насколько увеличится ваша аттестация за данный модуль.

Процент правильных ответов - ваша доля правильных ответов. Нигде не учитывается, предоставляется вам для того, чтобы вы понимали примерный уровень ваших знаний.

Верхняя граница теста - тот процент правильных ответов, который можно набрать, отвечая на задания теста наугад. Если ваш процент правильных ответов выше этого числа - вы успешно прошли тест.

Спасибо за внимание!


tags

алфавит (1) asp.net (1) бгд (22) бисв (22) бкб (22) бме (22) бпэ (23) бпэз (3) бпэзу (1) бпм (13) бпм объявления (7) certbot (1) cheatsheet (1) checkinstall (1) csv (1) дискретная математика (21) экзамен (1) embedded rust (2) english (1) формальные грамматики (1) gdb (2) язык (1) jupyter (1) критерии (2) курсовая работа (2) lighttpd (2) low-latency (1) machine learning (3) make (1) make install (1) markdown (1) машинное обучение (1) математическая логика (1) Математические основы кмпьютерной графики (1) Математические основы компьютерного моделирования (1) Методы оптимизации (9) методы оптмимизации (1) методы принятия решений (1) миа (1) мии (7) мик (7) мим (2) мип (8) мит (34) миу (8) миз (7) ml (1) mono (1) natural language processing (1) nlp (1) nucleo (2) объявления (28) оформление (2) openocd (2) openpgp (1) pandas (1) pgp (1) подтверждение вывода (1) programming (3) python (3) robot (1) robotics (2) setup (6) шпаргалка (1) smartcard (1) ssh (1) ssl (1) STM32 (2) streaming (1) строка (1) тб (21) teaching (1) teaching statement (1) теоретические основы цифровой обработки изображений (1) тест (1) учебник (1) up board (1) video (1) вкр (2) xls (1)