Руководство по созданию валидных тестовых заданий
Золотой стандарт оценки клинического мышления. Требует выбора наиболее вероятного варианта из нескольких правдоподобных.
«Пациент 45 лет с одышкой... [сценарий]... Какой из следующих диагнозов наиболее вероятен?»
Установление соответствия. Эффективно для проверки дифференциальной диагностики большой группы заболеваний.
Список из 10 возможных препаратов и 5 кратких описаний клинических побочных эффектов.
Блочные задания. Оценивают ведение пациента в динамике (от диагностики до лечения).
Единый сценарий о больном в приемном покое + 3 последовательных вопроса, меняющихся по мере "лечения".
Задания с расширенным выбором. Исключают случайное угадывание за счет большого списка опций.
Выбор одного метода визуализации из списка 20 возможных (КТ, МРТ с контрастом, ПЭТ и т.д.).
Клиническая ситуация: пол, возраст, жалобы, анамнез, статус.
Четкое задание со знаком «?» в конце, вытекающее из сценария.
Ключ и гомогенные (однородные) дистракторы.
Выстройте блоки в логическом порядке - как в истоии болезни
Варианты должны быть гомогенными (все диагнозы, все исследования...)
Начните сборку...
Блум:
—
Миллер:
—
Доля студентов, ответивших правильно. Слишком легкие (P > 0.8) вопросы не дифференцируют студентов. Сложные (P < 0.5) допустимы при высоком индексе дискриминации.
Разница результатов между сильной и слабой группой. Если ИД отрицательный вопрос ошибочен.
Функциональный дистрактор:
Его выбирает > 5% студентов. Он работает на общую надежность теста.
Нефункциональный дистрактор:
Выбор < 5%. Это «шум», который делает вопрос бесполезным.
Один плохой дистрактор сводит на нет всю работу! Если студент видит 2 явных глупости, вероятность случайного угадывания ключа вырастает с 20% до 33%.
Кейс на 500 слов с подробным описанием погоды и нормальными анализами. Чтение занимает 4 минуты.
На приеме участкового педиатра мальчик 1 года 8 месяцев. С восьми месячного возраста проживает у бабушки в деревне. В течение 4 месяцев у ребенка кашицеобразный стул со слизью 6-8 раз в сутки. Месяц тому назад в кале появились прожилки крови, а последние две недели при каждом акте дефекации в каловых массах примесь крови. Ребенок жалуется на боли в животе перед дефекацией. Периодически рвота. Аппетит, со слов родителей, у ребенка снижен, отмечается похудание. Периодически температура тела повышалась до 37,5 градуса. Частный врач рекомендовал лечение фуразолидон+ пиобактериофаг+ бэби-сед. Лечение без стойкого улучшения. Ребенок от первой, нормально протекавшей беременности, родился в срок, масса тела при рождении 3400,0, длина тела 52 см. Грудное вскармливание до 7 месяцев. С года наблюдается атопический дерматит, гастроинтестинальная пищевая аллергия на морковь, тыкву, цитрусовые, белок коровьего молока. Мать 19 лет, здорова. Отец 41 год, здоров. У бабушки (по матери) хронический гастрит, хронический колит, лактозная недостаточность. При осмотре: масса тела 9,5 кг, рост 78 см. Кожа бледная, на лица, и ног участки гиперемии, расчесы, корочки. Зев умеренно гиперемирован. ЧСС-120 в минуту. Тоны сердца звучные, систолический шум в V точке Боткина, не связанный с тоном, вне границ сердца не проводится. ЧДД - 28 в минуту. Дыхание везикулярное, хрипы не прослушиваются. Живот вздут, болезненный при пальпации области толстого кишечника, спазм сигмовидной кишки . Печень по среднеключичной +2 см, плотная. Селезенка у края реберной дуги. На вдохе болезненность в точке Кера. Амбулаторно. Общий анализ крови эритроциты 3,6х10*12?л, гемоглобин 98 г/л, цветной показатель 0,8. лейкоциты 12,5х10*9/л,э-5%,п/я-7%, с/я45%, л-34%,м-9%, тр.-300х10*9/л, СОЭ-20 мм/час. Общий анализ мочи цвет-светло-желтый, прозрачная, рН5,0, относительная плотность 1016, белок нет, сахар нет, лейкоциты 3-5 в /з. Копрограмма. Кал полужидкий, коричневого цвета с вкраплениями крови, мышечные волокна в умеренном количестве, нейтральный жир нет, жирные кислоты немного, крахмал внеклеточный много, Положительная реакция Грегерсена, лейкоцитов 10-20-30 в п/з. эритроцитов 30-40-50 в п/з.
Решение: Сократить до 150-250 слов. Оставить только значимые симптомы и отклонения.
Мальчик 1 год 8 месяцев имеет 4 месяца диареи со слизью, а в последние 2 недели — кровь в стуле, боль в животе и потерю массы тела. Объективно отмечаются бледность и болезненность в проекции толстой кишки. Лабораторно: Hb 98 г/л, лейкоцитоз, повышение СОЭ. В кале — кровь и лейкоциты. Какой из следующих диагнозов наиболее вероятен у этого пациента?
Специфический препарат в анамнезе однозначно указывает на диагноз в ключе. Описание: 7-летний мальчик направлен к вам с расстройством поведения и сложностями в обучении. У него проблемы в школе и дома, и он вызывающе противостоит авторитету, делая все, что ему говорят, наоборот. Подводящий вопрос: Какой диагноз наиболее вероятен? Варианты ответа: A. Cиндром дефицита внимания с гиперактивностью B. расстройство аутистического спектра С. Нарушение привязанности D. Специфическое нарушение способности к обучению Е. Вызывающее оппозиционное расстройство
Решение: Заменить ключевые слова на описание состояния.
Мальчик 8 лет был направлен школьным психологом на консультацию в связи с повторяющимися трудностями в поведении. В течение последних 6 месяцев он проявляет упрямство, спорит со взрослыми, отказывается выполнять инструкции, нарочно раздражает одноклассников, часто обвиняет других в своих ошибках. В общении с родителями — раздражительный и мстительный. Нарушений сна и аппетита не выявлено. Уровень интеллекта и школьная успеваемость соответствуют возрасту.
Какова доля детей в, поступающих в больницу с бронхиолитом? Варианты ответа: 1-4% 3-7% Одна четверть 5% 15%
Проблемы: Нужны ли такой вопрос для выделения хороших кандидатов? Разные единицы Пропорции неоднородны Диапазоны пересекаются
Решение: Использовать гомогенные числовые диапазоны.
Варианты ответа: 1-5% 6-10% 11-15% 16-20% 21-25%
Смертный грех. Путает хорошо подготовленных студентов. Например:
Что из этого не является причиной… Какое из этих лекарств не следует давать ребенку…..
Решение: переформулировать без отрицаний.
Что из перечисленного чаще всего вызывает пневмонию у детей? A. Streptococcus pneumoniae B. Бактерии C. Mycoplasma pneumoniae D. Вирусы E. Грамположительные кокки
Проблема:
A. Streptococcus pneumoniae. входит в B и E; B. Бактерии Включает А, С и Е C. Mycoplasma pneumoniae входит в B D. Вирусы — другой тип возбудителя. E. Грамположительные кокки - морфологический класс.
Решение: Все варианты должны быть из одной категории (все — диагнозы, все — методы). Добавлен клинический сценарий:
Мальчик, 3 лет, доставлен в клинику с жалобами на высокую температуру (до 39.5°C), кашель и затруднённое дыхание. Аускультативно — крепитация в нижней доле справа. Рентгенограмма грудной клетки подтверждает наличие инфильтрата. Предположен диагноз: внебольничная бактериальная пневмония Какой из следующих микроорганизмов наиболее вероятно является возбудителем пневмонии у этого ребёнка? A. Streptococcus pneumoniae B. Staphylococcus aureus C. Haemophilus influenzae D. Mycoplasma pneumoniae E. Klebsiella pneumoniae
Еще один смертный грех Все выше перечисленные — плохой вариант: •Подталкивает к угадыванию (если 2–3 варианта звучат правдоподобно — студенты склонны выбирать «все выше…») •Не проверяет знание, а проверяет логические способности обходить вопрос
Решение: тщательный подбор дистракторов.
Когда правильный вариант длиннее и полнее остальных. Мужчина 60 лет с температурой 39°C, продуктивным кашлем и инфильтрацией в нижней доле правого лёгкого на рентгенограмме. Какой диагноз наиболее вероятен? A. Бронхит B. ОРВИ C. Острая внебольничная бактериальная пневмония правой нижней доли с выраженной воспалительной реакцией D. Рак лёгкого E. Плеврит
Решение: переформулировать варианты, сделать гомогенными и одинаковой длины.