Способ оценки знаний и интеллектуальных возможностей

 

Изобретение относится к области психологического моделирования действий лиц, вовлеченных в практически важные ситуации, с последующей численной оценкой этих действий, к области испытаний профессиональной пригодности и связанному с ними обучению, к области психометрических измерений интеллекта, проводимых в психологии. Способ состоит в том, что испытуемого (обучающегося) тестируют при помощи тестового задания, состоящего из вопросов, на которые испытуемый должен дать ответ. В способе определяют сложность любого конкретного вопроса. Результат измерений, увязанный со сложностью задания, характеризует как уровень знаний, так и интеллектуальные возможности испытуемого. В случае построения тестового задания в форме независимых вопросов итоговую оценку за него определяют суммированием баллов за каждый ответ задания. В случае построения тестового задания в форме деловой игры итоговую оценку определяют перемножением баллов, полученных за отдельные этапы (ответы) игры. Способ позволяет применять 8 психологических форм вопросов, с помощью которых моделируют логику мышления специалистов, решающих конкретную задачу. Испытуемый самостоятельно конструирует ответ из набора частных вариантов ответов, приводящегося в тексте вопроса. Ответ, представляющий собой материализованную форму знания испытуемого, фиксируют и обрабатывают разделением его на правильные и неправильные части, измеряют характеристики этих частей и по математическим выражениям, в зависимости от сложности вопроса и от вероятностей указания правильных и неправильных частей ответа, определяют итоговую оценку ответа в баллах. Способ может быть реализован как традиционными учебно-методическими и техническими средствами обучения (плакатами, опросными листами, диапроектором и др.), так и с помощью компьютерной техники, оснащенной разработанным под данный способ программным обеспечением. Данный способ позволяет повысить объективность оценки знаний и интеллектуальных возможностей. 7 ил.

Изобретение относится к области психологического моделирования действий лиц, вовлеченных в практически важные ситуации, с последующей численной оценкой этих действий, к области испытаний профессиональной пригодности и связанному с ними обучению, к области психометрических измерений интеллекта, проводимых в психологии.

Известен психометрический способ измерения интеллекта, см., например, [1] с измерением коэффициента интеллекта IQ.

Основные существенные признаки этого способа следующие: испытуемого тестируют вопросами тестового задания, не имеющими профессиональной направленности и не связанными друг с другом причинно-следственной связью; фиксируют ответ испытуемого; численно оценивают результат каждого ответа по двухуровневой шкале; оценивают результат ответов на все тестовое задание (интеллект "умственного возраста") суммированием оценок за каждый вопрос тестового задания; критерий успешного решения вопроса либо регламентируют исходя из общепринятых рекомендаций, либо вырабатывают экспертным образом; итоговую оценку всего тестового задания определяют коэффициентом интеллекта IQ, равным отношению, умноженному на 100, интеллекта "умственного возраста" к интеллекту "хронологического возраста", который определяют по статистическим данным решения этого же тестового задания сверстниками испытуемого как средний результат этого тестирования.

Данный способ является необъективным из-за того, что, применяя довольно простые вопросы тестового задания, не имеющие профессиональной направленности данного испытуемого, он не позволяет измерить основной, профессиональный интеллект испытуемого. Также способ необъективен, т.к. он, оценивая ответ по двухуровневой шкале, не позволяет объективно оценивать не полностью правильные ответы на сложные вопросы и не позволяет объективно измерять количество сложных знаний, в которых важна последовательность составляющих его элементов. Данный способ необъективно измеряет интеллект, т.к. в нем не учитываются различной сложности вопросы. Практическое применение этого способа показало, что он менее объективен по положительному критерию, чем по отрицательному, т.е. менее объективно дифференцирует положительные отклонения интеллектуальной одаренности от нормы, чем умственную отсталость от нормы.

Известен эвристический способ [2] измерения количества знаний и интеллектуальных возможностей, в котором имеются следующие существенные признаки: испытуемого тестируют вопросами; фиксируют ответ испытуемого; численно оценивают результат каждого ответа и результат ответов на все тестовое задание, состоящее из нескольких вопросов; вопросы могут быть либо не связанными друг с другом причинно-следственной связью, либо связанными и объединенными общей целью всего тестового задания (деловой игры). В последнем случае вопросы подают испытуемому в порядке, определяющемся логикой игры и результатом предыдущих ответов; вопросы прекращают подавать либо при успешном завершении всего тестового задания, либо тогда, когда после неправильного ответа на предыдущий вопрос деловой игры задание успешно завершено быть не может. Критерий успешного решения вопроса либо регламентируют исходя из общепринятых рекомендаций, либо вырабатывают экспертным образом; численно, методом экспертных оценок, определяют сложность каждого вопроса тестового задания и степень полноты и правильности ответа; степень полноты и правильности оценивают сравнением ответа, данного испытуемым, с образцовым ответом, который вырабатывают либо из общепринятых регламентированных рекомендаций, либо вырабатывают экспертным образом. Итоговую оценку всего тестового задания определяют равной величине, пропорциональной сумме итоговых оценок за каждый ответ тестового задания; оценку за единичный ответ определяют величиной, пропорциональной произведению степени полноты и правильности этого ответа на сложность соответствующего вопроса тестового задания.

Этот способ необъективен, т.к. в нем применяют необъективный метод экспертных оценок для получения численного значения сложности конкретного вопроса и численного значения полноты и правильности ответа. Кроме этого, разбиение тестового задания на отдельные вопросы с последующей независимой оценкой каждого из них и суперпозицией полученных оценок (с учетом индивидуальных сложностей вопросов или без такого учета) оправдано только при смысловой и целевой независимости вопросов друг от друга. При таком тестовом задании каждый вопрос является независимой задачей, решение которой не зависит от решения предыдущих вопросов. В случае, если тестовое задание представляет собой деловую игру, как и в любом сложном явлении или процессе, элементы которого являются взаимозависимыми, общий эффект не является арифметической суперпозицией частных эффектов, а представляет собой сложную нелинейную функцию. Поэтому ценность такого сложного знания не должна быть эквивалентна суперпозиции составляющих ее элементов, как не может быть признано эквивалентным однократному поднятию на соревновании по тяжелой атлетике штанги в 400 кг двадцатикратное поднятие 20 кг веса, доступное любому среднеразвитому человеку. Как и в предыдущем способе, ненормированность форм вопросов приводит к необъективности способа.

Известен статистический способ измерения количества знаний и интеллектуальных возможностей [3] - прототип, в котором имеются следующие существенные признаки: испытуемого тестируют вопросами; фиксируют ответ испытуемого; численно оценивают результат каждого ответа и результат ответов на все тестовое задание, состоящее из нескольких вопросов. Вопросы могут быть либо не связанными друг с другом причинно-следственной связью, либо связанными и объединенными общей целью всего тестового задания (деловой игры). В последнем случае вопросы подают испытуемому в порядке, определяющемся логикой игры и результатом предыдущих ответов. Вопросы прекращают подавать либо при успешном завершении всего тестового задания, либо тогда, когда после неправильного ответа на предыдущий вопрос деловой игры задание успешно завершено быть не может; критерий успешного решения вопроса либо регламентируют исходя из общепринятых рекомендаций, либо вырабатывают экспертным образом. Cтатистическим образом определяют сложность каждого вопроса тестового задания и вероятность указания полностью правильного ответа для каждого испытуемого, вероятность указания полностью правильного ответа определяют как вероятность забывания знания по этому вопросу; степень полноты и правильности ответа измеряют долей правильных решений посредством сравнения ответа, данного испытуемым, с образцовым ответом, который вырабатывают либо из общепринятых регламентированных рекомендаций, либо вырабатывают экспертным образом. Итоговую оценку всего тестового задания определяют равной величине, пропорциональной сумме итоговых оценок за каждый ответ тестового задания; оценку за единичный ответ определяют величиной, пропорциональной произведению степени полноты и правильности этого ответа на величину, обратно пропорциональную сложности соответствующего вопроса тестового задания.

Этот способ необъективен, т.к. базовые теоретические предпосылки способа необоснованны и неверны. Во-первых, вероятность правильного ответа определяют как вероятность забывания знания по этому конкретному вопросу, зависящую от ряда внешних факторов. Наличие же знаний по данному вопросу и их оценка не должны опираться на внешние факторы, влияющие на их забывание. Во-вторых, сложность вопроса в данном способе определяют эмпирически, по статистическим результатам ответов, и она не является объективной характеристикой данного вопроса, т. к. результаты опроса могут зависеть от множества внешних факторов. В способе определяют вероятность правильного ответа для каждого отдельного испытуемого в зависимости от его уровня подготовки, то же самое делают и по отношению к сложности задания. Определяемое таким образом значение сложности субъективно, а не объективно. Измерение количества сложных знаний осуществляют в данном способе необъективно из-за применения к общей оценке принципа суперпозиции отдельных оценок за каждый элемент знания. Также данный способ необъективен из-за ненормированности форм вопросов. Этот способ не позволяет обоснованно производить дифференцированную численную оценку знаний в случае неполного или не совсем правильного ответа.

Техническим результатом предлагаемого изобретения является повышение объективности оценки знаний и интеллектуальных возможностей.

Он достигается тем, что в способе оценки знаний и интеллектуальных возможностей, в котором испытуемого тестируют вопросами тестового задания, фиксируют ответ испытуемого, численно оценивают правильность каждого ответа и ответов на все тестовое задание, определяют сложность каждого вопроса тестового задания, вероятность указания испытуемым полностью правильного ответа, степень полноты и правильности ответа, результат каждого ответа оценивают количеством баллов, равным произведению сложности вопроса на степень полноты и правильности ответа, определяют итоговую оценку знаний и интеллектуальных возможностей за все тестовое задание, тестовое задание при тестировании состоит из вопросов как логически связанных, так и логически несвязанных, ответы на которые представляют собой различные логически-комбинаторные знания, для ответа на каждый вопрос испытуемому предлагают набор частных вариантов ответа, общее число которых равно n, в набор частных вариантов ответа наряду с правильными, общее количество которых равно m, включают и неправильные частные варианты ответа, при оценке ответа учитывают наличие в нем как правильных частных вариантов ответа, так и наличие в нем неправильных частных вариантов ответа, сложность каждого вопроса определяют равной величине, обратно пропорциональной вероятности полностью правильного ответа на этот вопрос, которую определяют из условия равновероятности выборки каждого частного варианта ответа, ответ испытуемого разделяют на правильную и неправильную части, определяют вероятность правильной части ответа Р_п(i), состоящей из i правильных частных вариантов ответа, и вероятность неправильной части ответа Р_н(k), состоящей из k неправильных частных вариантов ответа, степень полноты и правильности ответа определяют из выражения где Р_п(m) - вероятность правильного ответа при i=m, а P_н(0) - вероятность неправильного ответа при k=0, итоговую оценку знаний и интеллектуальных возможностей за все тестовое задание с логически несвязанными вопросами определяют равной сумме оценок за каждый отвеченный вопрос тестового задания, а для тестового задания с логически связанными вопросами, - равной произведению оценок за каждый отвеченный вопрос тестового задания.

В предлагаемом способе посредством воздействия на сознание испытуемого психологических вопросов специальных, нормированных форм в сознании испытуемого моделируют логическую цепочку размышлений и действий специалиста при решении им конкретной профессиональной задачи. Логические процессы описывают логическими операторами И, ИЛИ. Кроме этого, так как мы в своих психологических моделях можем описывать протяженный во времени процесс, то в этом процессе может быть важна последовательность выполнения логических действий, т. е. их комбинаторика. Поэтому психологические формы ответов представляют собой такое воздействие на сознание испытуемого, реакцией на которое должен быть ответ испытуемого, представляющий его различные логически-комбинаторные знания. В способе абсолютно точно, расчетным путем, определяют сложность именно этого вопроса, именно конкретно этой психологической формы. Далее, получив от испытуемого ответ на конкретный психологический вопрос, разлагают его на правильную и неправильную части, измеряют вероятностные характеристики этих частей, и при помощи итоговых соотношений определяют количество знаний и соответствующие им интеллектуальные возможности испытуемого.

Наиболее распространенным типом логического вопроса является вопрос, требующий ответа по схеме ЛОГИЧЕСКОГО И. Элементами ответа являются предлагаемые и пронумерованные в тексте вопроса частные варианты ответа ЧВО. Полностью правильный ответ состоит из комбинации нескольких правильных ЧВО из приведенных в вопросе вариантов. Каждый из правильных ЧВО является необходимым условием для достижения какой-либо цели или какого-либо понятия. Все вместе они составляют достаточное условие. Фактически, испытуемый в ответе на вопрос такой формы должен указать перечень необходимых для решения задачи условий. Поэтому эта форма вопроса получила условное обозначение ПУ (перечень условий).

Примером такого рода вопроса может служить задача определения всех необходимых сил и средств, которые должны привлечь для локализации и ликвидации какого-либо сложного пожара руководитель тушения пожара. Каждая составляющая сил и средств как раз и является одним из ЧВО, приведенных в тексте вопроса. В этом вопросе осуществляется достижение цели.

В качестве примера достижения понятия по И-логике может служить вопрос: "Перечислите согласно уставу обязанности начальника караула при заступлении его в дежурство". Понятием здесь является "обязанности начальника караула". Каждая из действительных обязанностей является необходимым условиям правильного исполнения всего комплекса обязанностей начальником караула. Неуказание хотя бы одной обязанности, в качестве которой выступает определенный ЧВО, недопустимо, т.к. без него не будет выполнено достаточное условие достижения понятия - "обязанности начальника караула".

Вторым типом логического вопроса является вопрос, требующий ответа по схеме ЛОГИЧЕСКОГО ИЛИ. Полностью правильный ответ состоит из комбинации нескольких пронумерованных правильных альтернативных ЧВО, приведенных в тексте вопроса. Каждый из правильных ЧВО является достаточным условиям для достижения какой-либо цели или какого-либо понятия (в дальнейшем, "цели-понятия"). Все вместе они составляют возможные и самодостаточные альтернативы выполнения какой-либо задачи или самодостаточные условия достижения какого-либо понятия. Эта форма получила название ПА (перечень альтернатив).

В отношении достижения цели, для разъяснения постановки вопроса по схеме ИЛИ, можно в качестве примера взять задачу, стоящую перед командиром десантной роты по овладению высоты, занятой противником. Изучив сложную структуру местности, возможные подходы, расположение огневых точек и минные поля противника, он может доложить свои соображения начальству в виде нескольких альтернативных вариантов действия. При этом предполагается, что каждый из приведенных альтернативных вариантов может привести к успешному выполнению поставленной задачи и достижению цели.

В качестве примера достижения понятия можно привести проблему, стоящую перед следователем на промежуточной стадии ведения дела по выявлению возможного преступника из всех фигурантов, проходящих по делу. В этом случае понятием является "возможный преступник". Рассмотрев известные ему обстоятельства дела, он делает вывод, что возможный преступник - это либо ближайший родственник покойного, либо старушка, сидевшая в то утро на скамейке, либо сам покойный. Каждый из этих альтернативных "возможных преступников" является на данной фазе следствия достаточным условием достижения понятия "возможный преступник".

К третьему типу относятся логические комбинаторные вопросы, требующие введения испытуемым правильной последовательности действий для реализации какой-либо задачи в ходе какой-то рабочей ситуации. Выбор действий испытуемый осуществляет из предлагаемых к рассмотрению в тексте вопроса одиночных действий, являющихся собственно ЧВО, причем указывает их в определенной последовательности. Вопросы такой формы получили название ПД (последовательность действий).

Примером этого типа вопросов может быть вопрос: "Приведите последовательность действий при замене диска сцепления автомобиля ВАЗ-2106 от момента постановки его в ремонтную зону".

К четвертому типу можно отнести широкий класс вопросов, ответы на которые представляют комбинации из трех предыдущих типов. Это следующие вопросы: 1) Вопрос, требующий ответа по логике И-ИЛИ. Такой типа вопросов предполагает указание в ответе возможных альтернатив достижения цели-понятия с раскрытием содержания каждой альтернативы, представляющей комбинацию из предлагаемых в тексте вопроса нескольких ЧВО, объединенных по И-логике. При этом не требуется указания в обязательном порядке всех альтернатив, достаточно правильно указать (с раскрытием содержания) хотя бы одну альтернативу, но лучше несколько, если они есть. Такая форма вопроса обозначается А-ПУ (альтернативные перечни условий).

2) Вопрос, требующий ответа по логике ИЛИ с указанием предпочтительности выбора. В этом случае требуется указать в ответе номера альтернатив, приведенных в тексте вопроса в качестве ЧВО, в порядке, определяющемся предпочтительностью выбора. Наибольшая предпочтительность определяется наибольшим положительным эффектом в плане достижения цели-понятия поставленной задачи. Обозначение этой формы А-ПВ (альтернативы с предпочтительностью выбора).

3) Вопрос, требующий в ответе указания альтернативных последовательностей действий А-ПД.

4) Вопрос, требующий ответа с указанием альтернативных последовательностей действий в порядке их предпочтительности А-ПД-ПВ.

5) Вопрос, требующий ответа с указанием альтернативных перечней условий в порядке их предпочтительности А-ПУ-ПВ.

Из этих вопросов можно строить как независимые тестовые, так и деловые игры.

Наиболее сложным в разработке нового объективного способа по сравнению с существующими аналогами является реализация возможности оценки любого возможного ответа на поставленные логические вопросы. Сложность этой задачи обусловлена тем, что испытуемый, в зависимости от количества предлагаемых к ответу частных вариантов ответа, может ответить на вопрос чрезвычайно большим количеством способов. Учесть все возможные варианты ответа и предварительно оценить их численно не представляется возможным.

В основу способа положено, что единым критерием ценности любых знаний является их объем, т.е. их сложность, а критерием оценки интеллектуальных возможностей индивидуума является максимально возможная для данного индивидуума сложность решаемых задач. Как и любая численная характеристика, сложность должна определяться относительно некоего "нулевого" уровня. Разные категории испытуемых характеризуются своим индивидуальным первоначальным уровнем знаний (подготовки). Например, для ученика пятого класса первоначальным уровнем подготовки является совокупность знаний, полученных в предыдущих классах. Для поступающего в высшее учебное заведение первоначальным уровнем является совокупность знаний, полученных за десять классов, этот уровень фиксируется в программах вступительных экзаменов. Он необходим для усвоения материала, преподающегося в данном учебном заведении. В способе определяют, что первоначальным уровнем подготовки для решения конкретной задачи или определенного круга задач можно определить уровень знаний, минимально необходимый для усвоения правильного решения. Количество возможных вариантов решения задачи, правильных, частично правильных и неправильных, как раз и определяет сложность задачи и соответственно ее ценность (или ценность знаний, составляющих правильное решение задачи). Поэтому в способе сложность задачи определяют равной максимальному количеству значимых, практически возможных математически логических вариантов ответов, которые могут быть даны испытуемым с первоначальным уровнем подготовки.

Чем сложнее задача, тем меньше вероятность ее решения. Поэтому в способе вероятность полностью правильного ответа определяют величиной, обратно пропорциональной сложности задачи, а количество баллов за полностью правильный ответ приравнивают значению сложности задачи.

В отличие от прототипа определяемые по предлагаемому способу сложность задания и вероятность полностью правильного ответа являются объективными.

Условием полностью правильного прохождения деловой игры является обязательное успешное прохождение каждого его этапа. Если всю игру считать самостоятельным заданием со сложностью S, то, разложив ее на k отдельных задач, каждая из них со сложностью S_i, можно считать, что каждая из этих локальных задач имеет свою собственную вероятность полностью правильного ответа (ППП) P_ппоi, а вся деловая игра имеет свою вероятность ППО P_ппо. Вероятности Р_ппоi каждого этапа игры зависят только от результатов правильных ответов предыдущих этапов, но дойдя до конкретного этапа, событие ППО для этого этапа является событием независимым. Поэтому можно записать соответственно для сложности Или, что эквивалентно оценке за прохождение игры в баллах
Таким образом, в предлагаемом способе результирующая оценка результатов игры равняется произведению оценок за каждый ее этап.

Если этапы игры допускают возможность указания неполных или не совсем правильных ответов, которые не оказывают "летального исхода" на игру (не ведут к ее прекращению), то под баллами за каждый этап в этом выражении подразумевают произведение баллов за полностью правильное прохождение конкретного этапа на некий коэффициент полноты и правильности ответа, значение которого лежит в диапазоне (01]. Для полностью правильного ответа этот коэффициент равен 1.

На фиг. 1 приведена общая последовательность действий по п.1 предлагаемого способа. Присутствующий на этой фигуре функциональный узел 5, в котором осуществляется определение сложности вопроса, изображен с несколькими стрелками различного направления. Это условное обозначено того, что это действие может быть осуществлено на любом этапе, указанном стрелкой.

Тестирование вопросами специальных психологических форм обеспечивает возможность комплексного всестороннего психологического тестирования испытуемого. Тем самым повышается объективность способа.

Объективность способа увеличивается и за счет устранения метода экспертных оценок для определения полноты и правильности ответа, в нем производится объективная дифференцированная оценка любого значимого частично правильного и частично неправильного ответа. Одним из материальных объектов, подвергающихся различным воздействиям и преобразованиям в ходе способа, является знание. Знание, как и большинство объектов материального мира, имеет сложную составную структуру.

На фиг.2 изображены фазы преобразования знания. Сначала при помощи тестирования, которому подвергают испытуемого, ему предлагают вопрос одной из психологических форм. В тексте вопроса приводят модельный набор частных вариантов ответа ЧВО (возможных элементов знания), из которых испытуемый должен сконструировать правильный ответ (правильное знание). Каждый элемент этого модельного набора нумеруют. Правильные элементы знания изображены белыми квадратиками, неправильные - черными. В ходе тестирования внедряют копию модельного набора в сознание испытуемого. Как правило, модельный набор отличается от реально имеющего набора элементов знания в памяти испытуемого. Действительное знание испытуемого нам не известно, поэтому непосредственному оцениванию оно не подлежит. Модельный же набор знания фиксирован и известен, именно из него испытуемый конструирует свой ответ, который является реальным знанием испытуемого.

Внедряя копию модельного набора в память испытуемого, мы тем самым делаем конечным и просчитываемым количество возможных вариантов ответа. Знание испытуемого в форме ответа, как и всякий другой сложный материальный объект, может быть разделено на свои элементарные части. В способе сначала знание испытуемого посредством сепарации расчленяют на свои элементарные составляющие. После этого, используя имеющееся эталонное знание (эталонный ответ), каждый элемент знания испытуемого (ЧВО) анализируют и признают либо правильным, либо неправильным. При этом анализе на правильность и неправильность эксперты либо совсем не требуются, либо, если они требуются, то предварительно произведенная с их помощью качественная оценка более неделимых элементов знания по принципу "правильно", "неправильно", обладает практически 100%-ной объективностью. Участие экспертов ограничено написанием текста вопроса, включая список с правильными и неправильными ЧВО, и написанием эталонного ответа. Из неправильных элементов знания испытуемого синтезируют неправильную часть знания, из правильных элементов - правильную часть знания. Тем самым исходное знание испытуемого делят на две части знания - правильную и неправильную. Поэлементный анализ знания правильной и неправильной частей ответа дает возможность определения вероятности характеристик, необходимых для проведения следующего действия - получения итогового результата измерения. Результатом этой операции является новый материальный объект - знание о реальной ценности знаний испытуемого и его интеллектуальных возможностях.

При определении вероятностных характеристик очень важно, какие события принимают за независимые и равновероятные. В нашем способе за такое событие принимают выборку любого ЧВО в данный момент времени. Смысл итогового выражения для определения точного значения в баллах состоит в том, что, чем сложнее указать правильную часть в ответе, тем меньше вероятности указания этой части и тем большее количество баллов за нее начисляется; чем сложнее указать в ответе неправильную часть (т.е. чем сложнее допустить ошибку), тем меньше вероятности указания этой части и тем больше за нее начисляется "штрафных баллов", т.е. тем меньше общая результирующая оценка.

Смысл К_псо состоит в том, чтобы привязать максимальную оценку к значению сложности, определенной нами выше. В способе конкретизируются условия определения сложности задачи и К_псо. Значение К_псо получают из расчета баллов за ППО. Б при этом равно S. Так как, по определению ППО не содержит неправильных ЧВО, то Р_н равно Р_н-ппо, определенной из условия нулевой правильной части, т. е. из условия числа правильных ЧВО i=0 (число неправильных ЧВО k при этом, естественно, также равно нулю). Р_п=Р_п-ппо определяют из условия максимальной правильной части, т.е. при i-m (неправильная часть опять же, естественно, нулевая). Оценка ответа максимальна при ППО и равна S, а минимальна - при нулевой правильной части ответа и максимальной неправильной части. Способ позволяет измерять любые частично правильные и частично неправильные знания.

Отметим, что определение вероятностных характеристик для любой из применяемых психологических форм вопросов является довольно стандартной задачей, не требующей подробного ее описания. Отдельные аспекты решения этой задачи приводятся ниже, в примерах, подтверждающих возможность осуществления изобретения.

Перечень фигур чертежей.

Фиг.1. Общая последовательность действий.

Фиг.2. Фазы преобразования знания.

Фиг.3. Оценки ответа по И-логике: n=8, m=4.

Фиг.4. Вид функции знания для формы ПУ.

Фиг.5. Вид функции знания для формы ПД.

Фиг.6. Структурная схема способа.

Фиг. 7. Структура программного обеспечения системы подготовки и проведения тестового задания по определению знаний и интеллектуальных возможностей.

Приведем примеры конкретных реализаций способа.

Сначала рассмотрим формы ПА и ПУ. В вероятностном плане сложность решения задачи с ответом по ИЛИ-логике ничем не отличается от задачи с аналогичными параметрами n и m с ответом по И-логике. Отличие проявляется в прохождении деловой игры, использующей эти типы вопросов. Неуказание хотя бы одного правильного ЧВО в И-логике приведет к окончанию игры, в случае с логикой ИЛИ игра не будет продолжаться. Могут применяться две постановки вопроса формы ПУ. В первой постановке испытуемому непосредственно сообщают - сколько правильных ЧВО он должен указать (т.е. подсказывают значение m). Во второй постановке вопроса - m неизвестно. Исходя из данного нами определения сложности, сложность первой задачи равна числу сочетаний из n по m-S₁=C_n ^m, а второй - S₂=2ⁿ. Приведем конечное выражение для подсчета баллов за ответ при первой постановке вопроса. Обозначим i - количество указанных в ответе правильно ЧВО, а k - количество указанных в ответе неправильных ЧВО.

Приведем результаты определения оценок по процедуре п.2 изобретения с обеими разновидностями вопроса формы ПУ с n=8, m=4. Результаты в табличной форме представлены на фиг.3 (примеры 1 и 2). Ячейки таблиц содержат оценки любых ответов для различных сочетаний i и k. Примерный график зависимости результирующей оценки Б ответа от количества указанных в ответе неправильных ЧВО k и правильных ЧВО i для неправильного ответа (i=0) и правильного ответа (k=0) приведен на фиг.4 (функция знания).

Разработаны процедуры оценивания и для вопросов других психологических форм. Чтобы не перегружать текст изобретения излишним количеством примеров применения, далее приведем лишь общие выражения для определения сложности этих вопросов, а также критерии успешности решения для них, необходимые для реализации деловых игр. Отметим, что получение указанных выражений является стандартным решением стандартной задачи, поэтому приводим только окончательные результаты.

Конкретный процесс ответа на вопрос формы ПД будет сводиться к указанию в определенной последовательности номеров соответствующих ЧВО (действий). На практике возможна ситуация, когда испытуемый не может дать точного ответа о том, какое действие должно быть расположено на конкретной позиции. Поэтому целесообразно предоставить ему возможность сохранить неясную ему позицию не занятой и продолжить ответ на вопрос со следующей позиции.

Итоговые выражения для вопроса формы ПД


Приведем результаты оценивания различных ответов на вопросы формы ПД.

Пример 3.

Пусть в вопросе требуется указать правильную последовательность действий, которая выбирается из ЧВО, общее количество которых n=8, а общее количество правильных ЧВО (правильных действий) m=4. Правильный ответ 1,2,3,4, Обозначим i1 - количество правильных ЧВО, указанных в ответе на позициях, тождественных позициям в эталонном ответе; i2 - количество правильных ЧВО, указанных со смещением от эталонной позиции; k - количество неправильных ЧВО в ответе.

1) Подсчитаем баллы за возможные неполные ответы. Под неполными ответами мы будем понимать ответы, не имеющие никаких ошибок (далее смещений). В этом случае все правильные действия стоят на своих местах, кроме вообще не указанных в ответе последних правильных действий, т.е. можно записать
Б(i1, i2, k)=Б(i1,0,0)=Б(i1)
Согласно выражению {2} определим сложность задачи
S=87+876+8765+87654+ 876543+87654322= 109592
В соответствии с выражением {3}
К_псо46,6
Б(i1= 4)= 877646,6= 109592, Б(i1=3)=87746,6=18267, Б(i1=2)=2610, Б(i1=1)=373, Б(i1=0)=46,6
2) Приведем результаты оценивания возможных неправильных ответов. За неправильные ответы мы принимаем ответы, не имеющие в своем составе правильных действий, т.е. Б(i1,i2,k)=Б(0,0,k)=Б(k).

Б(k=1)=3,36, Б(k=2)=0,42, Б(k=3)=0,06, Б(k=4)=0,01
3) Посмотрим, как влияет наличие НД (неправильных действий (ЧВО) на общий результат для случая i2=0.

Ответ: -, -,-,4,5 Б(1,0,1)=9*(4/8)*46,6=210; Ответ: 1,-,-,-,5 Б(1,0,1)= 8*(4/8)*46,6= 186; Ответ: 1,2,3,5, Б(3,0,1)=12178; Ответ: 5,2,3,4 Б(3,0,1)= 6850; Ответ: 1,2,3,4,5 Б(4,0,1)=87674; Ответ: 1,2,3,4,8,5 Б(4,0,2)=65755; Ответ: 1,2,3,4,8,5,7 Б(4,0,3)=43837
4) Рассмотрим более сложный случай, когда неправильных действий в ответе не указано и имеются ПДС (правильные действия со смещением). Пусть правильный ответ будет 1,2,3,4.

4.1) В качестве примера возьмем ответ, в котором правильные действия указаны в обратной последовательности 4,3,2,1. Фактически этот ответ является максимально неправильным в случае ответа, включающего в себя все правильные действия и состоящего исключительно из одних ПДС. С учетом величины смещения каждого ПДС имеем
Б=409
4.2) Приведем теперь оценку за ответ, в котором первые два действия указаны правильно, а последние два правильные действия поменялись друг с другом местами, т.е. ответ дан в виде 1,2,4,3.

Б=12154
По результатам пунктов 1) и 2) построим график зависимости оценки в "зоне знания" и "зоне незнания" (фиг.5).

При построении ответа по формам А-ПУ и А-ПД ответ должен содержать k штук возможных альтернатив достижения цели с раскрытием содержания каждой i-й альтернативы, построенного по логике И, или построенного по форме ответа на вопрос, требующей указания в ответе последовательности действий по достижении поставленной в вопросе цели. Для того чтобы вопрос таких форм не был чрезмерно сложен, в тексте вопроса испытуемому сообщают число правильных альтернатив. При этом в плане достижения цели-понятия (достижения критерия успешности) в ответе достаточно указать одну правильную альтернативу, но ни одной неправильной альтернативы в ответе не должно быть указано.

Форма написания такого ответа следующая. Каждая альтернатива составляется из предлагаемых к ответу и пронумерованных ЧВО, указанных через запятую. Альтернативы, указанные в ответе, отделяются друг от друга каким-либо разделителем, например символом косая черта "\". Так, запись ответа в форме 3,5,2\ 1,9,4 означает, что для достижения цели-понятия задачи необходимо в случае вопросов А-ПУ наличие 3-го- 5-го и 2-го ЧВО, либо 1-го, 9-го и 4-го, а в случае указания альтернативных последовательностей действий та же запись будет означать выполнение указанных ЧВО в определенной последовательности. Сложность вопроса А-ПУ:
S=2^nxk {4}
Из {4} видно, что даже, ограничив возможное количество альтернатив формулировкой вопроса с указанием их количества, сложность данного вопроса очень высокая. Поэтому вряд ли целесообразно в вопросах такого типа использовать число альтернатив, большее двух.

Сложность вопросов формы А-ПД еще больше, чем вопросов А-ПУ. Если среди ЧВО нет действий ПП (произвольной последовательности, т.е. действий, которые могут занимать произвольные позиции внутри определенного диапазона позиций в полностью правильном ответе без ущерба для выполнения цели задания), то общая сложность данного задания будет (k - число альтернатив).

Если действия ПП в задании имеются, то выражение для сложности изменится, появится дополнительный коэффициент, уменьшающий общее значение сложности. Здесь в ответе тоже целесообразно ограничиться указанием двух альтернатив.

Формы А-ПУ-ПВ и А-ПД-ПВ являются наиболее сложными из всех вопросов, рассмотренных ранее, т. к. событие полностью правильного ответа наступает только тогда, когда в ответе указаны, во-первых, все правильные альтернативы, во-вторых, альтернативы указаны в правильной последовательности, и, в-третьих, все альтернативы полностью правильно расписаны. Для того чтобы сложность задачи не была чрезмерно высокой, количество правильных альтернатив ограничивают двумя-тремя и число этих альтернатив сообщают испытуемому. Сложность вопросов рассматриваемых форм равна степенной функции от частной сложности альтернатив, порядок которой равен числу возможных перестановок альтернатив, т.е. равен k!.

В отношении достижения цели задачи, то здесь цель задачи не выполнена, если на первом месте в ответе будет стоять неправильная альтернатива. Во всех остальных случаях цель задачи будем считать достигнутой.

Предлагаемый способ может быть без ущерба для достижения технического эффекта реализован традиционными учебно-методическими и техническими средствами ТС (плакатами, опросными листами, диапроектором, кадоскопом, видеотехникой, калькулятором). Хотя данный способ можно реализовать и традиционными техническими средствами, он все-таки довольно трудоемок. По этой причине его применение в таком варианте наиболее целесообразно в очень ответственных областях, где весьма высока плата за необъективный результат и поэтому высока мотивация внедрения данного способа. Наибольший интерес вызывают такие области применения, как управление атомными, тепловыми и гидростанциями, управление транспортирными потоками, крупные предприятия, службы по предотвращению и ликвидации чрезвычайных ситуаций, пожарная охрана, МВД, ФСБ, СВР, ФАПСИ и др.

В настоящее время основным ТС становится вычислительная техника, оснащенная соответствующим программным обеспечением. Современный уровень компьютерной технологии позволяет заменить и превзойти по обучающему эффекту все традиционные ТС. Компьютерная техника уникальна по своим возможностям как материальный объект, позволяющий воздействовать на такой специфический и вместе с тем очень разноплановый материальный объект, как информация, воплощающая собой знание о каком-то другом материальном объекте. Поэтому наиболее целесообразно для обеспечения большей интенсивности обучения и тестирования, а также полного исключения фактора субъективности в лице преподавателя реализовать изобретение с помощью компьютерной техники, оснащенной разработанным под предлагаемый способ программным обеспечением. Компьютер не представляет собой монолитный материальный объект, он состоит из множества узлов и блоков, которые начинают действовать в нужной последовательности и определенным образом под воздействием соответствующего программного обеспечения. Программное обеспечение позволяет автоматизировать способ и исключить из него трудоемкость.

Структурная схема способа изображена на фиг.6. Все изображенные на ней элементы являются материальными объектами, с помощью которых и на которые осуществляются все воздействия по ходу реализации способа. Все эти объекты, кроме элемента 12 (испытуемый), представляют собой арифметическо-логические устройства, реализованные на базе технических и программных средств компьютера. Так, генератор вопросов психологических форм 11 состоит из участков памяти, монитора, логических устройств компьютера. Все эти аппаратные составляющие работают под управлением операционной системы компьютера и пользовательской подпрограммы генерации вопросов. Эта подпрограмма реализуется стандартными приемами программирования и не нуждается в пояснении. В дальнейшем все разработанное пользовательское программное обеспечение, реализованное стандартным образом, расшифровываться не будет.

Устройство конструирования ответа 13 в упрощенном виде аппаратно представляет собой клавиатуру, монитор и другие, необходимые для совместной работы аппаратные средства компьютера. Программная часть включает в себя средства операционной системы и пользовательскую подпрограмму конструирования ответа. Фиксатор ответа 14 представляет собой участок памяти компьютера. Поэлементный сепаратор 15 состоит из участков памяти и необходимых для расчленения исходного знания испытуемого арифметически логических блоков компьютера. Остальные элементы структурной схемы реализуются также стандартным аппаратным и программным образом. Лишь некоторые аспекты реализации нуждаются в пояснении. На измеритель характеристик знаний подают информацию о каждом из элементов знания (номер элемента, характеристику элемента - правильной, неправильной, позицию элемента в ответе (для комбинаторных ответов) и о каждой из частей знания (правильной и неправильной) - количество соответствующих элементов. В определителе так же определяется такая характеристика, как правильность\неправильность знания в целом (успешность ответа на вопрос). Эта характеристика необходима при организации деловой игры. Если в ответе на вопрос цель задания достигается хотя бы в неполном размере, но необходимо достаточно, то задание считают выполненным успешно и генератор вопросов выдает испытуемому следующий вопрос деловой игры. В ином случае выключатель 22 останавливает генерацию вопросов и деловая игра останавливается. В чисто логических вопросах критерий успешности вытекает из самой сути логических операций И\ ИЛИ. Основные трудности с реализацией критерия успешности возникают в комбинаторных вопросах. Для решения этой проблемы экспертным или регламентным способом определяют минимальную конфигурацию ответа, при которой цель-понятие еще достигается хотя бы в неполном, но приемлемом виде. При нарушении хотя бы одного требования минимальной конфигурации ответ в целом признается неуспешным и деловая игра прекращается.

В оцениватель одного ответа 20 подают данные о характеристиках ответа, которые используют при определении оценки по процедуре, соответствующей конкретной форме вопроса. Оцениватель тестового задания осуществляет сложение баллов за каждый ответ независимого тестового задания и перемножает баллы за успешные ответы деловой игры.

Для большей автоматизации процесса подготовки тестовых заданий, использующих психологическое моделирование, для повышения доступности предлагаемого способа потребителям разработанное программное обеспечение имеет структуру, изображенную на фиг.7.

Программное обеспечение разбито на три независимые системы. Работа по созданию тестового задания сводится к формированию группы специалистов по конкретной профессии (дисциплине или объекту) и специалистов в психологическом моделировании. В совместной работе они создают перечень вопросов и эталонные ответы. По комбинаторным вопросам описывают минимально допустимые конфигурации ответов. В случае работы по созданию деловой игры создается ее сценарий, в котором указывают этапы ее прохождения и альтернативные возможности изменения хода деловой игры в зависимости от выполнения или невыполнения предыдущего задания (вопросы). После этого, используя систему подготовки библиотеки дисциплин и вопросов, информация о названиях дисциплин и объектов, о разработанных вопросах и сами тексты вопросов (с возможностью включения в них графической информации) заносятся и запоминаются в соответствующих базах данных. Из занесенных в базу данных вопросов посредством системы конфигурации тестового задания создается либо независимое тестовое задание, либо деловая игра. Процедура конфигурирования имеет доступный для любого пользователя интерфейс и может быть выполнена достаточно быстро. Сама процедура конфигурирования сводится к наименованию конфигурируемого тестового задания, занесения этого названия в соответствующую библиотеку тестов по данной дисциплине или объекту, к выбору соответствующих вопросов. Тестовое задание в базе данных помечается как независимое или как деловая игра. В случае деловой игры, по разработанному ранее сценарию, в базу данных заносится последовательность выполнения вопросов.

Подготовленное таким образом тестовое задание может быть запущено на выполнение любым специалистом, например ведущим игры или преподавателем. Для этого, перемещаясь по библиотеке дисциплин, отыскивают новую тематику, входят в нее, находят список имеющихся тестовых заданий. Выбирают интересующее, просматривают ее содержание. Если это действительно нужное задание, то подтверждают его выбор. Далее для исключения нежелательного влияния испытуемых на систему формируют список группы испытуемых и заносят его в соответствующую базу. Запуск производится очередным подтверждением выбора соответствующего теста и выбором соответствующей группы испытуемых. Когда испытуемый садится за компьютер, перед ним находится список испытуемых, в котором он находит себя и подтверждает выбор. После этого тестовое задание запускается на исполнение.

В случае независимого тестового задания вопросы поступают в случайной последовательности и под произвольными номерами, что исключает возможность записи ответов на вопрос испытуемыми с целью подготовки шпаргалки. В случае деловой игры вопросы поступают в порядке, определяющемся сценарием игры. Список ЧВО в тексте вопроса формируют случайным образом и под случайными номерами, что тоже защищает от использования шпаргалок. Текст вопроса может иметь любые размеры, число графических изображений тоже не регламентируется. В ходе ответа на вопрос испытуемый, конструируя ответ, может редактировать его произвольным образом, может возвращаться к просмотру текста вопроса и графических изображений. По завершении конструирования ответа испытуемый подтверждает окончание, и система автоматически производит подсчет баллов за этот вопрос и производит подсчет баллов за пройденные этапы. Эта информация поступает испытуемому. По завершении теста результат запоминается и на экран опять выводится список группы испытуемых. По окончании тестирования группы результаты могут быть просмотрены и выданы на распечатку.

Система в настоящий момент может быть реализована на любом компьютере класса IBM РС и выше, на котором установлена операционная система DOS или WINDOWS-95 с режимом эмуляции DOS. Ограничения могут наступить лишь при очень большом объеме тестовых заданий и касаются, в основном, размеров свободной емкости жесткого диска.

Источники информации
1. Белюк Л.В. Комплексная системная реализация задач вузовской профориентации с применением ЭВМ.- М.:НИИ ВШ. 1988.

2. Кручинин В.В. Разработка компьютерных учебных программ. Томск. Издательство Томского государственного университета. 1998.

3. Свиридов А.П. Основы статической теории обучения и контроля знаний. -М.: Высшая школа. 1981.

Формула изобретения

Способ оценки знаний и интеллектуальных возможностей, в котором испытуемого тестируют вопросами тестового задания, фиксируют ответ испытуемого, численно оценивают правильность каждого ответа и ответов на все тестовое задание, определяют сложность каждого вопроса тестового задания, вероятность указания испытуемым полностью правильного ответа, степень полноты и правильности ответа, результат каждого ответа оценивают количеством баллов, равным произведению сложности вопроса на степень полноты и правильности ответа, определяют итоговую оценку знаний и интеллектуальных возможностей за все тестовое задание, отличающийся тем, что тестовое задание при тестировании состоит из вопросов как логически связанных, так и логически несвязанных, ответы на которые представляют собой различные логически-комбинаторные знания, для ответа на каждый вопрос испытуемому предлагают набор частных вариантов ответа, общее число которых равно n, в набор частных вариантов ответа наряду с правильными, общее количество которых равно m, включают и неправильные частные варианты ответа, при оценке ответа учитывают наличие в нем как правильных частных вариантов ответа, так и наличие в нем неправильных частных вариантов ответа, сложность каждого вопроса определяют равной величине, обратно пропорциональной вероятности полностью правильного ответа на этот вопрос, которую определяют из условия равновероятности выборки каждого частного варианта ответа, ответ испытуемого разделяют на правильную и неправильную части, определяют вероятность правильной части ответа P_п(i), состоящей из i правильных частных вариантов ответа, и вероятность неправильной части ответа P_н(k), состоящей из k неправильных частных вариантов ответа, степень полноты и правильности ответа определяют из выражения

где P_п(m) - вероятность правильного ответа при i= m;
P_н(0) - вероятность неправильного ответа при k= 0,
итоговую оценку знаний и интеллектуальных возможностей за все тестовое задание с логически несвязанными вопросами определяют равной сумме оценок за каждый отвеченный вопрос тестового задания, а для тестового задания с логически связанными вопросами - равной произведению оценок за каждый отвеченный вопрос тестового задания.

РИСУНКИ

Рисунок 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6, Рисунок 7

NF4A Восстановление действия патента Российской Федерации на изобретение

Извещение опубликовано: 20.07.2006        БИ: 20/2006