Начнём с обзора: что вообще возможно?

Прежде чем переходить к конкретным инструментам, важно увидеть картину целиком. В этом видеообзоре, сгенерированном с помощью NotebookLM, вы за несколько минут получите общее представление о том, где и как искусственный интеллект уже применяется в оценке знаний.

Теперь глубже: как именно работают языковые модели?

Видеолекция дала вам общую картину. Теперь разберёмся в механике. Большие языковые модели (LLM), такие как ChatGPT, Claude, GigaChat и другие, способны генерировать тестовые задания, давать обратную связь, анализировать ответы студентов. Но у них есть ограничения, о которых необходимо знать. Этот материал объяснит, что LLM делают хорошо, где ошибаются и как использовать их грамотно в контексте оценки.

Любой, даже самый мощный инструмент бесполезен без плана. Прежде чем просить ИИ составить тест или проверить эссе, преподаватель должен ответить на базовые вопросы: что именно мы оцениваем? На каком уровне? Какой формат оценки подходит? Этот материал поможет вам выстроить логику оценивания от результатов обучения к конкретным заданиям.

Переходим к практике: тестовые задания с помощью ИИ

Вы определили, что оцениваете, и выбрали формат. Если это письменный тест - пора разобраться, как ИИ помогает создавать качественные задания. Здесь вы узнаете принципы составления тестовых вопросов, типичные ошибки (слабые дистракторы, неоднозначные формулировки) и то, как правильно ставить задачу языковой модели, чтобы результат соответствовал вашим требованиям.

Теперь ваша очередь: создайте промпт самостоятельно

Теорию вы освоили, принципы изучили, время действовать. В этом интерактивном тренажёре вам предстоит самостоятельно составить промпт для генерации сценария ОСКЭ (объективного структурированного клинического экзамена). Вы увидите, как точность формулировки влияет на качество ответа модели. Экспериментируйте, пробуйте разные подходы, и не бойтесь ошибаться.

От тестов к текстам: как ИИ помогает проверять письменные работы?

Тестовые задания лишь одна из форм оценки. Эссе, рефераты, клинические разборы требуют совершенно другого подхода. Можно ли доверить ИИ проверку развёрнутых ответов? Как сформулировать критерии, чтобы модель оценивала содержательно, а не формально? Этот материал покажет возможности и границы использования ИИ для проверки письменных работ и формирования обратной связи.

Отвечаем на вопрос "Ну и что?"

После проведения оценки важно понять: а хорошим ли был сам экзамен? Психометрический анализ позволяет оценить качество заданий по объективным показателям, таким как сложность, дискриминативность, надёжность. ИИ может помочь автоматизировать этот процесс, визуализировать результаты и выявить проблемные задания, которые нужно доработать или исключить.

Как понять, что ваши оценочные средства действительно работают?

Вы научились создавать задания, проверять работы и анализировать результаты.

Но как теперь это все объединить? Критерии качества контрольно-оценочных средств это ваш чек-лист: валидность, надёжность, объективность, практичность. Используйте его как финальную проверку соответствия ваших инструментов оценки профессиональным стандартам.

И последнее, но не менее важное

ИИ открывает огромные возможности для преподавателя, но одновременно создаёт новые вызовы. Если ИИ может генерировать ответы, как обеспечить честность оценки? Как отличить работу студента от текста, созданного моделью? И нужно ли запрещать ИИ или лучше научить студентов использовать его этично?