[БЕЗ_ЗВУКА] В этом видео мы рассмотрим общую схему современного тестирования, используемую для систематического создания тестов. Создание качественного теста — это комплексная процедура. Напомню, что под качественным тестом мы понимаем тест с требуемыми значениями психометрических характеристик: надежности и валидности. На данном слайде вы можете видеть ключевые этапы современного тестирования в контексте разработки заданий для МООК. Это этапы: определение целей тестирования; подготовка спецификаций; разработка первичного пула и так далее. Давайте последовательно разберем каждый из этих шагов. Первый этап — определение целей тестирования. В МООК бывают две основные стандартные цели тестирования: формирующее и итоговое оценивание уровня освоения предмета. Формирующее оценивание призвано мотивировать интерес слушателя к прохождению курса и обязательно включает в себя развернутую обратную связь в случае выбора неверного ответа. Такое тестирование также позволяет слушателю понять, что же он не до конца понял из учебного материала и повторить этот учебный материал перед прохождением итогового тестирования. Итоговое тестирование, в свою очередь, направлено на оценку усвоения предмета. Результат прохождения итогового тестирования определяет балл слушателя. После определения целей измерения нам следует понять, в какой пропорции включать задания в тест, проверяющие разные аспекты овладения навыком. И в данном случае при составлении спецификации удобно использовать так называемую таксономию Блума — это классификация типов когнитивных операций, задействованных при решении конкретного задания. Одним из ключевых требований к тесту является то, что каждый пункт этого теста должен быть направлен на оценку усвоения уникального контента, и этот пункт должен использовать один когнитивный процесс. Обращу ваше внимание, что это мы сейчас впервые употребили термин «пункт». Пункт — это вопрос, утверждение или задание теста. Далее мы довольно часто будем использовать этот термин. Таксономия Блума вводит 6 основных категорий когнитивных процессов: знание, понимание, применение, анализ, синтез и оценка. При конструировании курса всегда хочется обучать слушателей на заданиях, требующих использования верхнеуровневых процессов. Однако практика показывает, что для четкого выделения в своем курсе когнитивных процессов последних трех уровней требуется значительный преподавательский навык. Напротив, категории припоминания, понимания и применения в общем-то довольно понятны, очевидны всем преподавателям. Например, что такое уровень припоминания? Это уровень повторения услышанного. Например, мы можем попросить рассказать наших слушателей, как складывать два числа. Уровень понимания — это уровень интерпретации знаний в форме, в которой мы еще не давали его в лекциях. Например, мы можем попросить сложить два числа. Уровень применения — это задания для решения некоторых новых проблем с использованием уже знакомых понятий. Например, задачка: у Вани было 5 яблок, у Пети — 3, и сколько всего яблок у них на двоих? Это задача на применение знаний. Как правило, описанные операции задействованы в заданиях закрытой формы. А когнитивные операции в заданиях типа Peer-Review (то есть задании на взаимопроверку) или в заданиях на программирование удобнее определять как навык. Например, навык написания программ для решения специфических задач на заданном наборе данных. И такие задачи часто включают в курсы, но они требуют сразу нескольких когнитивных операций. На основании таксономии Блума мы можем составить желаемый список когнитивных операций, которые должны быть задействованы при решении теста. И после определения этих когнитивных операций мы можем выделить крупные темы контента. Далее, на основании списков когнитивных процессов и тем контента составляется таблица, где каждая клетка представляет собой, сколько пунктов необходимо в тесте для проверки усвоения данной темы путем использования данного когнитивного процесса. Пример подобным образом составленной спецификации вы видите на слайде. Левая колонка — это крупные темы контента. Верхняя строчка — когнитивные операции, которые мы должны проверять тестом. Так, например, в тесте должен быть один вопрос по теме «решение уравнений». И этот один вопрос должен требовать ответа, в котором слушатель должен использовать навык припоминания. Следующий шаг — нам необходимо указать тип заданий для каждого пункта, время на его выполнения, а также предполагаемые трудности. После того как мы добавляем эти значения, исходная спецификация принимает следующий вид. Как вы можете видеть, здесь для каждой группы заданий по теме «решение квадратных уравнений» указан отдельный свой тип заданий. И подобным образом спецификация может быть заполнена и для других тем курса. Давайте перейдем к следующему шагу: а именно к составлению первичного пула заданий. Спецификация в данном случае позволяет нам распараллелить этот процесс, то есть одновременно дать работу нескольким экспертам, которые уже смогут под расчетное время, сложность и тип задания составлять такие задания, которые будут использовать требуемый нами когнитивный процесс. Конкретные практики составления качественных заданий для МООК мы с вами будем рассматривать далее в нашем курсе, а сейчас мы должны перейти к следующему этапу: а именно к этапу составления содержательной экспертизы. Этот этап предполагает, что независимые эксперты будут оценивать качество заданий. И тут разумно оценивать качество по следующим характеристикам. Во-первых, это оценка соответствия заданий руководствам. Вообще, в психометрике накопился определенный набор сведений о лучших практиках составления заданий, которые позволяют получать баллы с высокой надежностью и валидностью. И соответственно, эксперты должны проверить, соблюдены ли эти практики при составлении текущих заданий. Далее, второе — проверка соответствия требуемых для решения задания когнитивных способностей, заявленных в спецификации. Данная проверка означает, что эксперты выносят суждение, соответствуют или нет наши пункты спецификации. Например, действительно ли текущие задание направлено на использование применения знаний или оно сводится лишь к припоминанию? Большое количество заданий только одного уровня — это на самом деле угроза содержательной валидности наших баллов. Содержательной валидностью мы называем степень соответствия между текущим содержанием теста и требуемым содержанием. Третье — это проверка пунктов на предмет соответствия курсу. В этом случае эксперты проверяют сам контент пунктов на предмет того, имеет ли он вообще отношение к курсу. На практике для оценки корректности достаточно использовать простую шкалу типа: 3 балла — пункт имеет корректное содержание; 2 балла — пункт имеет неопределенное содержание; 1 балл — пункт имеет некорректное содержание. Попросив каждого эксперта поставить оценку для каждого пункта, можно усреднить их оценки и оставить только пункты с наивысшей оценкой из экспертов. Пример таблицы для такой проверки вы можете видеть на слайде. Например, в данном случае мы можем оставить только один пункт со средней оценкой более двух. Идем дальше, четвертое — вычитка. Каждое задание должно быть подвергнуто корректуре с целью исправления грамматических, стилистических, орфографических или пунктуационных ошибок. Ведь наличие подобных ошибок может привести к потере уважения к авторам курса. И слушатели будут несколько расстроены или даже в недоумении. Также стоит проверять пункты на наличие формулировок, которые могут задеть чьи-либо чувства. Это могут быть какие-то стереотипы, политические, культурные особенности и прочее. И отдельно следует обратить внимание на ясность формулировки заданий. Идем дальше. Пятое, наконец — проверка ключей. Данная проверка актуальна для заданий закрытой формы. Цель данной проверки выяснить, совпадает ли ключ с реальным правильным ответом. Совершенно нельзя допускать ситуации, когда в тестовом пункте нет ни одного правильного ответа или есть более одного правильно ответа. После содержательной экспертизы проводят апробацию заданий в группе людей, для которых собственно предназначен этот тест. Полученные на этапе апробации баллы анализируются с помощью психометрических подходов. И задания, имеющие низкое психометрическое качество, удаляются из теста или корректируются. В случае если у вас нет возможности провести апробацию перед запуском, можно отнести этот этап к этапу анализа результатов после первой волны запуска курса и внести коррективы уже после прохождения теста реальными слушателями. Финальный этап — это этап релиза. На этом этапе устанавливается проходной балл, по которому выдается сертификат за успешное прохождение курса. Анализ заданий по результатам апробаций — это ключевой этап, определяющий качество наших заданий на реальных слушателях.
