facebook
twitter
vk
instagram
linkedin
google+
tumblr
akademia
youtube
skype
mendeley
Page translation
 

ПСИХОМЕТРИЧЕСКИЙ ПОКАЗАТЕЛЬ СОМНЕНИЯ В КОМПЬЮТЕРНЫХ ТЕСТАХ (TORFL)

ПСИХОМЕТРИЧЕСКИЙ ПОКАЗАТЕЛЬ СОМНЕНИЯ В КОМПЬЮТЕРНЫХ ТЕСТАХ (TORFL)
Smirnova Yulia, associate professor, candidate of education, associate professor

Vassiliy Serbin, управляющий проектами ао "kaspi bank", ст. науч. сотрудник национального центра коррекционной педагогики, старший преподаватель, candidate of technical sciences

Almaty Institute of Power Engineering and Telecommunications, Kazakhstan

Championship participant: the National Research Analytics Championship - "Kazakhstan";

the Open European-Asian Research Analytics Championship;

В статье представлено обоснование дидактического термина «сомнение». Предложен метод измерения уровня сомнений в знаниях тестируемого (в TORFL).

Ключевые слова: сомнение, психометрия, TORFL, тест.

The substantiation of didactic term “dubiety” is given in the article. The metric assumption of dubiety (experimental example TORFL) are presented.

Keywords: dubiety, psychometry, TORFL,test.

 

Введение. Тесты как система заданий стандартной формы, результаты которой поддаются количественному учёту,[1] получили широкое распространение в самых различных областях нашей жизни.  Преимущества и недостатки использования тестов очевидны.[2] Ясно одно: тесты – это наиболее эффективный способ квалиметрии интеллектуальных и личностных качеств, в этом их несомненное достоинство. Новизна исследования состоит в разработке метода измерения уровня сомнения знаний тестируемого, а также аналитически обоснован термин «сомнение».

История термина «сомнение»: этимология, интерпретации и толкования. Сомнение – это акт мышления, колебание, раздвоение ума, ставшего перед необходимостью выбора между истинностью и ложностью какого-либо положения. В этимологическом отношении слово «сомнение» означает одновременное наличие двух или нескольких мнений об одном и том же предмете. В любом издании Толкового словаря живого великорусского языка В. Даля мы увидим, что сомнение объясняется как умение «думать надвое». А в немецком языке слово «Zweifel» (сомнение) образуется от «zwei» (два).

Первой научным направлением, специально обратившимся к анализу феномена сомнения, явился античный философский скептицизм. Он вобрал в себя интеллектуальный потенциал той эпохи и высокую логическую культуру. Его стиль – это поиски, запросы и логические парадоксы. Античный скептицизм выработал особую манеру, способ противопоставлять чужие взгляды и мнения. Если для представителей других научных школ той эпохи, например, элеатов и софистов, сомнение – лишь момент познания, преодолев который они приходят к определённым положениям, то для скептиков сомнение – исходный и конечный пункт философствования, сутью которого является положение «истина не существует».[3]

В средние века сомнение нашло обоснование в сочинении Пьера Абеляра «Si et non» («Да и нет»). Кроме того, скептические идеи содержались в произведениях Николая Кузанского, Эразма Роттердамского, Агриппы Неттесхеймского, Мишеля Монтеня.

Дэвид Юм, английский скептик XVIII столетия, тоже представлял рассудочное мышление, развивая подходы Локка и Беркли. «Смягчённый» скептицизм Юма – это уже не скептицизм, а утверждение необходимости ограничить познание. Если Юм пытался преодолеть сомнение скептицизма, установить пределы познания, чтобы изгнать из него противоречивость, то И. Кант стремился определить границы познания, чтобы утвердить, узаконить противоречие, доказать не отдельную его сторону, а внутреннее единство противоположностей: «Критика разума необходимо приводит в конце концов к науке; наоборот, догматическое применение разума без критики приводит к ни на чём не основанным утверждениям, которым можно противопоставить столь же ложные утверждения, стало быть, приводит к скептицизму».[4]

Фрэнсис Бэкон считал сомнение средством избавления от предрассудков и предвзятых мнений. Бэконовское сомнение противоположно сомнению скептицизма, его цель – избавить разум от призраков, оказать ему содействие в познании объективной истины.

Поворотным моментом стала интерпретация сомнения в картезианстве. По Декарту, всё можно подвернуть сомнению, но несомненным является само сомнение. Сам факт сомнения не может быть опровергнут. Критерию истинности удовлетворяет несомненное сомнение: «Cogito, ergo sum». Традиционно знаменитое декартовское изречение переводят как «Я мыслю, следовательно, существую», но этот глагол можно перевести как «сомневаюсь». Именно это, на наш взгляд, имел в виду Декарт, ведь именно он является основоположником методологического (в некоторых источниках – методического) сомнения, т.е. сомнения как метода установления, верифицирования истины, чем, собственно, и отличился от своих предшественников.

Сомнение – одна из безусловных форм сознания, рефлексии. Его специфика заключается и в том, что оно является логическим противоречием, единством утверждения и отрицания. Эвристичность сомнения выражается в том, что от него стремятся избавиться, т.к. неудовлетворённое сомнение мучительно, именно поэтому Декарт считал его несовершенством. Не случайно известный физик Рич. Фейман неоднократно говорил о необходимости сомнения в научном творчестве. Нет познания без вопроса, нет вопроса без сомнения.

Таким образом, в истории научной мысли выделялось скептическое сомнение и картезианское. Цель последнего – проверить на истинность все прежние положения, которые кажутся достоверными, выяснить, отражает ли противоречие в теории объективную противоречивость или оно возникло в результате логической небрежности. Именно сомнение в декартовском смысле будет рассмотрено далее.

Психометрия сомнений: математическое описание. Математическое описание сомнения как значимого компонента модели рационального выбора, в основу которой положены аксиомы независимости, транзитивности, выпуклости и монотонности индивидуальных предпочтений, некоторым образом представлено в исследовании Г.П.Виноградова и В.Н.Кузнецова.[5] Человек строит последовательность умозаключений об адекватности своих представлений в соответствии со своим субъективным уровнем убеждённости. Он убеждён в адекватности своих представлений в ситуации выбора типа ? относительно цели G, если считает, что выбор способа действия С на их основе позволит её достичь. При этом он воспринимает часть характеристик Х ситуации ?; относительно другой части он делает предположения и проявляет намерение доказать (проверить их правдоподобность); в аналогичных ситуациях выбора типа ?, в которых он воспринимал присутствие (отсутствие) Х и стремился к G, выбирая С, он всегда достигал G; когда он наблюдал отсутствие (присутствие) Х в ситуации выбора типа ?, он никогда не выбирал С для достижения цели Gна основе данного представления.   

Предположение – это принимаемое по умолчанию значение наблюдаемой характеристики или описание причинно-следственной связи между наблюдаемыми характеристиками.

Представления человека характеризуются уровнем убеждённости. Уровень его убеждённости в своих представлениях о ситуации выбора типа ? относительно цели Gопределяется частотой её достижения при выборе способа действия С на их основе. Оценка уровня убеждённости изменяется в пределах от нуля до единицы. Если число неудачных попыток достичь цели Gпри выборе способа действия С на основе представлений человека возрастает, то уровень убеждённости человека уменьшается (и наоборот), что становится для него стимулом для приложения усилий по их модификации или полной реконструкции вследствие возрастания сомнения в правдоподобности сделанных предположений. Наличие стремления проверить правильность предположений является мерой сомнений человека.

Таким образом, усилия, которые затрачивает человек для доказательства (опровержения) предположений характеризует степень его сомнений относительно представлений о ситуации выбора типа ? при стремлении к цели G. Согласно положениям теории психологии поведения, если уровень убеждённости, который зависит от количества подтверждений правильности выбора на основе представлений, возрастает, то стремление человека к проверке падает, так как он не видит в этом смысла. Возрастание степени сомнения является стимулом для поиска дополнительных аргументов (контраргументов).

Параметром, учитывающим эти две характеристики, является степень убеждённости, рассматриваемая как

 (1)

где SU– степень убеждённости; Uu– уровень убеждённости (прошлый опыт); SS– степень сомнения человека в правильности своих представлений о ситуации выбора; ? и ? – коэффициенты значимости, которые человек придаёт своему опыту и необходимости поиска доказательств.[6]Таким образом, из предыдущего выражения можно вывести формулу, выражающую степень сомнения.

Степень сомнений в современных тестах (например, TORFL, грамматический субтест на соответствие),[7] на наш взгляд, является латентным параметром и может измеряться исключительно косвенным образом. Если степень сомнений SS и степень уверенности U оценивать по 100-балльной шкале и выразить в %, то формула степени сомнений SS приобретёт следующий вид:

                       (2)

По мнению А.В. Морозова,[8] для измерения латентных парамеров необходимы количественные характеристики. Количественными параметрами измерения степени сомнений пользователя являются следующие переменные: количество пропущенных операций; количество неподтверждённой информации; количество неоднородной информации (неоднозначной с первого раза); состояние логической цепочки (соответствие последовательности действий, уровней сложности и т.д.).

Данная модель определяет латентный параметр, который является реакцией на принятие решения с учётом уровня сложности. Суть модели заключается в подтверждении сомнению принятого решения путём его сравнения с принятым решением подобного типа.

Определяемый латентный параметр данной модели использует следующие количественные характеристики: тематика, сложность, принятое решение.

Нами предлагается следующий метод. Организовывается тестирование из xвопросов. Все вопросы х разделены на t-группы по определённой тематике. Каждый вопрос имеет один правильный вариант ответа. В тестировании все х-вопросы поделены на n уровней сложностей. Каждый вопрос имеет свой уровень сложности. Доля вопросов по уровням сложности должна удовлетворять следующему условию: для n=3 лёгкий – 50%, средний – 30%, сложный – 20%. Каждому уровню сложности соответствует весовой коэффициент F (Fmax– самый сложный, Fmax-1  – менее сложный и т.д.).

Сомнению подвергаются вопросы, на которые был дан правильный ответ всех уровней сложности, кроме первого. Сомнения при ответе на вопрос уровня F рассчитываются по ответам на вопросы той же тематики (т.е. той же группы), сложность которых ниже уровня сложности текущего вопроса.

(3)

где m – количество уровней сложности ниже того, для которого ведется расчёт:

(4)

F– весовой коэффициент текущего уровня сложности; ki – коэффициент веса сомнений на вопрос ниже текущего уровня:

 

 (5)

Wi– суммарный вес сомнений вопроса i-го   уровня,

     (6)

где  g – количество вопросов i-го уровня сложности той же тематики, для которой ведётся расчёт сомнения; Vi – принятое решение (ответ на вопрос).

Сложность вопроса

Рисунок 1 – График зависимости коэффициента Ki веса сомнений от текущего уровня сложности вопроса (логарифмическая)

 

Исходя из того, что в тесте может быть несколько вопросов  одного уровня сложности, есть необходимость найти среднеквадратическое значение сомнения на каждом уровне:

, (7)

Итоговый коэффициент, характеризующий степень сомнения, вычисляется по формуле:

(8)

где Ss– сомнение в ответах на вопрос F сложности,  fF – коэффициент веса сомнения в ответах  на вопрос F сложности:

 (9)

где Fmax –максимальный вес самого высокого уровня.

 Сложность вопроса

 Рисунок 2 – График зависимости коэффициента fF сумарных сомнений от текущего уровня сложности вопроса (логарифмическая)

 

Несмотря на то, что в данном методе для расчёта использовано небольшое количество характеристик (тематика, сложность, принятое решение), он даёт оценку сомнений правильно принятых решений, что, бесспорно, значимо для интерпретации конечного результата теста.[9]   

Выводы. Итак, наше исследование демонстрирует оригинальный метод измерения уровня сомнений. В диагностике уровня знаний на основе компьютерного тестирования его использование позволит снизить вероятность влияния случайного правильного ответа («угадывания») на конечный результат и получить максимально объективную оценку.

Общая схема учёта сомнений приведена в прикладном аспекте. Она была апробирована в 2008-2010 гг. в Алматинском институте энергетики и связи (ныне Алматинский университет энергетики и связи) в ходе компьютерного тестирования студентов бакалавриата по дисциплине «Русский язык» в период сессий. Использовались закрытые компьютерные тесты. Практическая значимость данного метода заключается в том, что его можно использовать для объективной оценки уровня знаний по любому предмету, где применяются тесты такого рода.

 

Литература:

  1. Балыхина Т.М. Словарь терминов и понятий тестологии. – М.: Русский язык. Курсы, 2006. С.86. 
  2. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. – М.: Когито Центр, 1999. – 142 с.
  3. Соловьёва Г.Г. О роли сомнения в познании. – Алма-Ата: Наука, 1976. – 142 с.
  4. Кант И. Сочинения. http://philosophy.ru/library/kant/01/00.html [Дата обращения 30.05.2013].
  5. Г.П.Виноградов, В.Н.Кузнецов. Моделирование поведения агента с учётом субъективных представлений о ситуации выбора // Искусственный интеллект и принятие решений. № 3, 2011. С.58-72.
  6. Там же, с.65-66.
  7. Балыхина Т.М. Что такое русский тест? – М.: Русский язык. Курсы, 2007.  С.4.
  8. Морозов А.В. Психология как наука. – М., 2009. С.586.
  9. Serbin V.V. Methodology for Measuring the Level of Users Doubts: Start of a New Theory // Europ?ische Fachhochschule. European Applied Sciences. Stuttgart, № 1, 2013. P.230-233.

0
Your rating: None Average: 7.3 (11 votes)
Comments: 24

Atamanchuk Petro

Уважаемые Авторы! Вне использования дидактического термина «сомнение» немыслимо вести речь о создании или разработке каких бы то ни было технологий или методик гарантированной активности и результативности в обучении. Очень актуальная постановка вопроса. Если сможете приезжайте – подискутируем: (01-02).10.2013 г. на базе кафедры методики преподавания физики и дисциплин технологической образовательной отрасли Каменец-Подольского национального университета имени Ивана Огиенка планируется проведение Международной научной конференция на тему: «ИННОВАЦИОННЫЕ ТЕХНОЛОГИИ УПРАВЛЕНИЯ КАЧЕСТВОМ ПОДГОТОВКИ БУДУЩИХ УЧИТЕЛЕЙ ФИЗИКО-ТЕХНОЛОГИЧЕСКОГО ПРОФИЛЯ»). До встречи в Каменце–Подольском. С глубоким уважением, П. Атаманчук.

Smirnova Yulia G.

Уважаемый Пётр Сергеевич! Благодарим Вас за неподдельный интерес к нашему исследованию, высокую оценку и за приглашение! Если не сможем приехать, то, думаем, организуем дискуссию в рамках планируемой конференции по скайпу. До встречи в эфире!

Igropulo Irina Fedorovna

Уважаемые авторы! В вашей статье рассматривается, без сомнения, важная проблема. связанная с принятием решений об оценке истинности или ложности тестовых заданий. Основательность подхода (история понятия "сомнение", ретроспективный обзор от античности до картезианства) позволяет заложить фундамент дальнейшего исследования. Вызывает уважение использование серьезного математического подхода для получения формулы, выражающей степень сомнения. Однако латентность степени сомнения, зависящей не только от уровня знаний, но и от личностных особенностей тестируемого, требует, на наш взгляд, более глубокого и всестороннего анализа. Столь же серьезной и важной характеристикой процесса принятия решений и степени сомнения является сложность проблемы. связанная не только с самой проблемой, но и с конкретным уровнем знаний и особенностями личности тестируемого. Вместе с тем, исследование и попытка количественной оценки психометрического показателя сомнения (вряд ли можно пока говорить об "измерении уровня сомнения знаний тестируемого") реального человека в процессе компьютерного тестирования представляет большой интерес и имеет, как нам представляется, интересные перспективы. С пожеланиями новых успехов, Ирина и Виталий Игропуло

Smirnova Yulia G.

В статье речь идёт не о о степени сомнения личности в целом, а исключительно о степени сомнений в знаниях учащегося во время тестирования по предмету. В 1 (степень сомнения личности в целом) и 2 случае (степень сомнения во время тестирования по предмету) формулы будут разными. Вы правы, что при измерении сомнений надо учитывать особенности личности. Однако в статье речь идёт только об измерении сомнений в знаниях при ответе во время теста.

Panfilova Alvina

05.24.2013. - 14.00. - Альвина Панфилова Уважаемые коллеги. Ваше исследование демонстрирует оригинальный метод измерения уровня сомнений. Сама постановка вопроса, на наш взгляд, очень интересная и своевременная. В диагностике уровня знаний на основе компьютерного тестирования использование этого метода позволит, как отмечают авторы, снизить вероятность влияния случайного правильного ответа («угадывания») на конечный результат и получить максимально объективную оценку. Важно также то, что метод можно широко применять для разных дисциплин. Полезен теоретический анализ термина "сомнение". Считаем работу перспективной и представленный опыт важный для распространения. Желаем успеха. С уважением.Альвина панфилова

Smirnova Yulia G.

Спасибо за объективную точку зрения. Мы польщены Вашей высокой оценкой исследования, Альвина. С уважением, В.В. Сербин и Ю.Г. Смирнова.

Sanosyan Khachatur Avetis

Уважаемые авторы. Спасибо за интересную и содержательную статью. С наилучшими пожеланиями Х.А. Саносян

Smirnova Yulia G.

Благодарим Вас за тёплые слова и надеемся на Ваши более развёрнутые и аргументированные комментарии текста нашего исследования.

Fedina Volodimira

Стаття носить філософсько-логічно-дослідницький характер. Цінність поданого матеріалу, без сумніву, має практичний характер, який можна і треба застосовувати при перевірці достовірності тестів.

Smirnova Yulia G.

Дякуемо, Володимира!

Nabi Yskak

Разносторонний коллектив авторов представил оригинальную работу. Однако хотелось бы иметь хотя бы один пример того, как учитываются приведенные коэффициенты, например, если студент получил 80 баллов, то с учетом коэффициентов ему может быть засчитано 85 баллов или что-то в этом роде. С уважением Наби Ы.А.

Smirnova Yulia G.

Г-н Наби, спасибо за интересный вопрос! Как Вы понимаете, разносторонность нашего коллектива являет симбиоз гуманитарной и технической мысли, позволяющий генерировать оригинальные идеи в противовес научному застою в области диагностики уровня знаний. Если коэффициент сомнения выступает как поправочное значение степени знаний, то нами экспериментально доказано, что доля учёта данного коэффициента составляет 10% от итогового коэффициента знаний. Чаще значение степени сомнения применяется не для поправочного коэффициента степени знаний, а для учёта психологических особенностей личности (например, для адаптивного тестирования, когда система подстраивается под уровень знаний пользователя) или является входом для принятия решений формирования контента обучающей системы. Также нами доказано, что для идентификации личности одним из показателей (критериев) может использоваться уровень (степень) сомнения (способность сомневаться). Более подробную информацию о применении данного подхода вы можете узнать из следующих источников: - Сербин В.В. Технология, методология создания и разработка информационно-обучающих систем: монография. - Алматы: АИЭС, 2010. - 198 с. - Serbin V. Mathematical Model of Measuring the Level of Doubt User in the System Computer Testing for Diagnostic Knowledge // Вестник АУЭС. – 2012. - №1(16). – С. 52-55 - Сербин В.В. Разработка метода измерения уровня сомнений пользователя в системе диагностики знаний на основе компьютерного тестирования. // Труды Международной научно-практической конференции «Информационно-инновационные технологии: интеграция науки, образования и бизнеса». – Алматы, 2011. - С.203-208. - Сербин В.В. Система диагностики знаний на основе метода измерения уровня сомнений. // Труды Международной научно-практической конференции «Фундаментальные науки и образование». Бийск, 2012. – С. 106-114. - Сербин В.В. Разработка многокритериальной модели оценки знания обучаемого. // Поиск. - 2008. - №2. - С.120-126.

Nesterenco Constantin Mihail

. Новизна исследования авторов состоит в разработке метода измерения уровня сомнения знаний тестируемого, а также аналитически обоснован термин «сомнение». Согласен с авторами, что сомнение – одна из безусловных форм сознания, рефлексии. Его специфика заключается и в том, что оно является логическим противоречием, единством утверждения и отрицания. В истории научной мысли выделялось скептическое сомнение и картезианское. Цель последнего – проверить на истинность все прежние положения, которые кажутся достоверными, выяснить, отражает ли противоречие в теории объективную противоречивость или оно возникло в результате логической небрежности. Именно сомнение в декартовском смысле будет рассмотрено далее. Нами предлагается следующий метод. Организовывается тестирование из x вопросов. Все вопросы х разделены на t-группы по определённой тематике. Каждый вопрос имеет один правильный вариант ответа. В тестировании все х- вопросы поделены на n уровней сложностей. Каждый вопрос имеет свой уровень сложности. Доля вопросов по уровням сложности должна удовлетворять следующему условию: для n=3 лёгкий –50%, средний – 30%, сложный – 20%. Каждому уровню сложности соответствует весовой коэффициент F (Fmax– самый сложный, Fmax-1 – менее сложный и т.д.). Хорошо и грамотно сформулированы выводы, а само исследование демонстрирует оригинальный метод измерения уровня сомнений. В диагностике уровня знаний на основе компьютерного тестирования его использование позволит снизить вероятность влияния случайного правильного ответа («угадывания») на конечный результат и получить максимально объективную оценку. Практическая значимость данного метода заключается в том, что его можно использовать для объективной оценки уровня знаний по любому предмету, где применяются тесты такого рода. Cтатья заслуживает внимания. Творческих успехов вам!

Smirnova Yulia G.

Г-н Нестеренко, спасибо за высказанную точку зрения. Заметим, что для конструктивного диалога были бы более полезны конкретные вопросы, а не фрагменты нашей статьи в Вашем комментарии (т.наз. "копипаста"), который, по нашему мнению, носит сугубо формальный характер. Полагаем, что это улучшило бы качество дискуссий научного сообщества на платформе gisap.eu. Рассчитываем на Ваше понимание.

Nesterenco Constantin Mihail

Уважаемые авторы! Следуя Вашим советам, и учитывая тот факт что работу вашу я хорошо изучил, мне хотелось бы получить ответ на несколько вопросов. В чем заключается научная новизна и в чем практическая значимость Ваших исследований? Хотелось что бы Вы указали результаты полученные в сравнении: Контрольный массив и Экспериментальный. График показывает какую-то закономерность, а построение графика базируется на какие-то полученные Вами экспериментальные данные. Хотелось бы увидеть их а не просто гладкий график, тем более что вызывает сомнение формула 2. Степень сомнении, как Вы указали выше, безразмерная величина, степень уверенности тоже безразмерная величина, Тогда как мы можем из 100% отнимать U, имея безразмерную величину, и получаем безразмерную величину, без каких-то предварительных преобразований? C уважением К. Нестеренко

Smirnova Yulia G.

Факт Вашего детального изучения работы для нас весьма сомнителен. Слово "новизна" выделено в первом абзаце жирным шрифтом, Вы можете перечитать его снова, чтобы лучше понять. Сведения о проведении эксперимента содержатся в разделе "Выводы". Более того, в комментариях даны ссылки на соответствующие работы, в которых представлен эксперимент во всех подробностях, в том числе по названным Вами пунктам. Ваши замечания по графику и формулам неясно сформулированы: вопрос ради вопроса - формальный и не самый эффективный способ научной коммуникации. Обращаем Ваше внимание на колоссальное количество пунктуационных и орфографических ошибок в Ваших комментариях (заметим, что во многих современных компьютерных программах есть функция автокоррекции текста, рекомендуем Вам ею воспользоваться). Мы выражаем надежду, что эксперты МАНВО обратят внимание на хамскую тональность Ваших высказываний. Именно поэтому все Ваши дальнейшие комментарии будут нами проигнорированы.

Nesterenco Constantin Mihail

В прошлом комментарии я пытался трактовать научную новизну и практическую значимость делая ссылку на Вас, что бы не было искажений, но после глубокого анализа, все-таки хочется более конкретно получить ответ. Укажите ,пожалуйста , где апробировались Ваши научные результаты? Рассчитываем на Ваше понимание. С уважением К. Нестеренко.

Smirnova Yulia G.

Где именно и когда проводилась апробация, указано в разделе "Выводы". Кроме того, ссылки на исследования с детальными результатами по апробации даны в комментариях г-ну Наби. Обращаем внимание, что возможности системы не позволяют в комментариях размещать графики и расчёты экспериментов, о которых Вы упоминали ранее.

Nesterenco Constantin Mihail

Желаю Вам удачи и научных успехов! С уважением К. Нестеренко

Smirnova Yulia G.

Спасибо!

Lavrenteva Zoya Ivanovna

Предмет Вашего исследования не только научно оригинален, но и имеет важное практическое значение. При решении тестовых заданий, как Вы справедливо отмечаете, необходимо учитывать самые разные показатели самочувствия учащихся. Изучение степени сомнения, пожалуй, можно признать в качестве ведущего показателя (особенно по отношению к тем учащимся, у которых средний или низкий бал традиционных методов оценки знаний). Несомненную практическую значимость имеет выведенная Вами математическая формула определения степени сомнений. Желаю успехов в дальнейшей работе. С уважением, Зоя Лаврентьева

Smirnova Yulia G.

Уважаемая Зоя Ивановна! Ваше мнение для нас очень важно. Благодарим Вас за высокую оценку нашего исследования!

Gryzun Liudmyla Eduardivna

Уважаемые авторы! Хотелось бы отметить высокий уровень научности и оригинальность исследования. Предложенный метод измерения уровня сомнения позволит оптимизировать процедуру анализа результатов тестирования. Возможно, применение аппарата нечеткой логики позволит сделать учет уровня сомнения более гибким. Успехов! С уважением Людмила Гризун.

Smirnova Yulia G.

Многоуважаемая Людмила Эдуардовна! Относительно применения аппарата нечеткой логики, позволяющего сделать учёт уровня сомнения более гибким, полагаем, что это возможно сделать в рамках дополнительных исследований, которые уже начаты нами. Более того, считаем, что подход окажется более интересным, если учитывать не только правильность vs. неправильность ответа, но и частичную правильность и частичную неправильность. Однако это предложение , по нашей оценке, сомнительно и требует проведения дополнительных экспериментов. Благодарим Вас за высокий балл по нашей статье и за Ваше мнение!
Comments: 24

Atamanchuk Petro

Уважаемые Авторы! Вне использования дидактического термина «сомнение» немыслимо вести речь о создании или разработке каких бы то ни было технологий или методик гарантированной активности и результативности в обучении. Очень актуальная постановка вопроса. Если сможете приезжайте – подискутируем: (01-02).10.2013 г. на базе кафедры методики преподавания физики и дисциплин технологической образовательной отрасли Каменец-Подольского национального университета имени Ивана Огиенка планируется проведение Международной научной конференция на тему: «ИННОВАЦИОННЫЕ ТЕХНОЛОГИИ УПРАВЛЕНИЯ КАЧЕСТВОМ ПОДГОТОВКИ БУДУЩИХ УЧИТЕЛЕЙ ФИЗИКО-ТЕХНОЛОГИЧЕСКОГО ПРОФИЛЯ»). До встречи в Каменце–Подольском. С глубоким уважением, П. Атаманчук.

Smirnova Yulia G.

Уважаемый Пётр Сергеевич! Благодарим Вас за неподдельный интерес к нашему исследованию, высокую оценку и за приглашение! Если не сможем приехать, то, думаем, организуем дискуссию в рамках планируемой конференции по скайпу. До встречи в эфире!

Igropulo Irina Fedorovna

Уважаемые авторы! В вашей статье рассматривается, без сомнения, важная проблема. связанная с принятием решений об оценке истинности или ложности тестовых заданий. Основательность подхода (история понятия "сомнение", ретроспективный обзор от античности до картезианства) позволяет заложить фундамент дальнейшего исследования. Вызывает уважение использование серьезного математического подхода для получения формулы, выражающей степень сомнения. Однако латентность степени сомнения, зависящей не только от уровня знаний, но и от личностных особенностей тестируемого, требует, на наш взгляд, более глубокого и всестороннего анализа. Столь же серьезной и важной характеристикой процесса принятия решений и степени сомнения является сложность проблемы. связанная не только с самой проблемой, но и с конкретным уровнем знаний и особенностями личности тестируемого. Вместе с тем, исследование и попытка количественной оценки психометрического показателя сомнения (вряд ли можно пока говорить об "измерении уровня сомнения знаний тестируемого") реального человека в процессе компьютерного тестирования представляет большой интерес и имеет, как нам представляется, интересные перспективы. С пожеланиями новых успехов, Ирина и Виталий Игропуло

Smirnova Yulia G.

В статье речь идёт не о о степени сомнения личности в целом, а исключительно о степени сомнений в знаниях учащегося во время тестирования по предмету. В 1 (степень сомнения личности в целом) и 2 случае (степень сомнения во время тестирования по предмету) формулы будут разными. Вы правы, что при измерении сомнений надо учитывать особенности личности. Однако в статье речь идёт только об измерении сомнений в знаниях при ответе во время теста.

Panfilova Alvina

05.24.2013. - 14.00. - Альвина Панфилова Уважаемые коллеги. Ваше исследование демонстрирует оригинальный метод измерения уровня сомнений. Сама постановка вопроса, на наш взгляд, очень интересная и своевременная. В диагностике уровня знаний на основе компьютерного тестирования использование этого метода позволит, как отмечают авторы, снизить вероятность влияния случайного правильного ответа («угадывания») на конечный результат и получить максимально объективную оценку. Важно также то, что метод можно широко применять для разных дисциплин. Полезен теоретический анализ термина "сомнение". Считаем работу перспективной и представленный опыт важный для распространения. Желаем успеха. С уважением.Альвина панфилова

Smirnova Yulia G.

Спасибо за объективную точку зрения. Мы польщены Вашей высокой оценкой исследования, Альвина. С уважением, В.В. Сербин и Ю.Г. Смирнова.

Sanosyan Khachatur Avetis

Уважаемые авторы. Спасибо за интересную и содержательную статью. С наилучшими пожеланиями Х.А. Саносян

Smirnova Yulia G.

Благодарим Вас за тёплые слова и надеемся на Ваши более развёрнутые и аргументированные комментарии текста нашего исследования.

Fedina Volodimira

Стаття носить філософсько-логічно-дослідницький характер. Цінність поданого матеріалу, без сумніву, має практичний характер, який можна і треба застосовувати при перевірці достовірності тестів.

Smirnova Yulia G.

Дякуемо, Володимира!

Nabi Yskak

Разносторонний коллектив авторов представил оригинальную работу. Однако хотелось бы иметь хотя бы один пример того, как учитываются приведенные коэффициенты, например, если студент получил 80 баллов, то с учетом коэффициентов ему может быть засчитано 85 баллов или что-то в этом роде. С уважением Наби Ы.А.

Smirnova Yulia G.

Г-н Наби, спасибо за интересный вопрос! Как Вы понимаете, разносторонность нашего коллектива являет симбиоз гуманитарной и технической мысли, позволяющий генерировать оригинальные идеи в противовес научному застою в области диагностики уровня знаний. Если коэффициент сомнения выступает как поправочное значение степени знаний, то нами экспериментально доказано, что доля учёта данного коэффициента составляет 10% от итогового коэффициента знаний. Чаще значение степени сомнения применяется не для поправочного коэффициента степени знаний, а для учёта психологических особенностей личности (например, для адаптивного тестирования, когда система подстраивается под уровень знаний пользователя) или является входом для принятия решений формирования контента обучающей системы. Также нами доказано, что для идентификации личности одним из показателей (критериев) может использоваться уровень (степень) сомнения (способность сомневаться). Более подробную информацию о применении данного подхода вы можете узнать из следующих источников: - Сербин В.В. Технология, методология создания и разработка информационно-обучающих систем: монография. - Алматы: АИЭС, 2010. - 198 с. - Serbin V. Mathematical Model of Measuring the Level of Doubt User in the System Computer Testing for Diagnostic Knowledge // Вестник АУЭС. – 2012. - №1(16). – С. 52-55 - Сербин В.В. Разработка метода измерения уровня сомнений пользователя в системе диагностики знаний на основе компьютерного тестирования. // Труды Международной научно-практической конференции «Информационно-инновационные технологии: интеграция науки, образования и бизнеса». – Алматы, 2011. - С.203-208. - Сербин В.В. Система диагностики знаний на основе метода измерения уровня сомнений. // Труды Международной научно-практической конференции «Фундаментальные науки и образование». Бийск, 2012. – С. 106-114. - Сербин В.В. Разработка многокритериальной модели оценки знания обучаемого. // Поиск. - 2008. - №2. - С.120-126.

Nesterenco Constantin Mihail

. Новизна исследования авторов состоит в разработке метода измерения уровня сомнения знаний тестируемого, а также аналитически обоснован термин «сомнение». Согласен с авторами, что сомнение – одна из безусловных форм сознания, рефлексии. Его специфика заключается и в том, что оно является логическим противоречием, единством утверждения и отрицания. В истории научной мысли выделялось скептическое сомнение и картезианское. Цель последнего – проверить на истинность все прежние положения, которые кажутся достоверными, выяснить, отражает ли противоречие в теории объективную противоречивость или оно возникло в результате логической небрежности. Именно сомнение в декартовском смысле будет рассмотрено далее. Нами предлагается следующий метод. Организовывается тестирование из x вопросов. Все вопросы х разделены на t-группы по определённой тематике. Каждый вопрос имеет один правильный вариант ответа. В тестировании все х- вопросы поделены на n уровней сложностей. Каждый вопрос имеет свой уровень сложности. Доля вопросов по уровням сложности должна удовлетворять следующему условию: для n=3 лёгкий –50%, средний – 30%, сложный – 20%. Каждому уровню сложности соответствует весовой коэффициент F (Fmax– самый сложный, Fmax-1 – менее сложный и т.д.). Хорошо и грамотно сформулированы выводы, а само исследование демонстрирует оригинальный метод измерения уровня сомнений. В диагностике уровня знаний на основе компьютерного тестирования его использование позволит снизить вероятность влияния случайного правильного ответа («угадывания») на конечный результат и получить максимально объективную оценку. Практическая значимость данного метода заключается в том, что его можно использовать для объективной оценки уровня знаний по любому предмету, где применяются тесты такого рода. Cтатья заслуживает внимания. Творческих успехов вам!

Smirnova Yulia G.

Г-н Нестеренко, спасибо за высказанную точку зрения. Заметим, что для конструктивного диалога были бы более полезны конкретные вопросы, а не фрагменты нашей статьи в Вашем комментарии (т.наз. "копипаста"), который, по нашему мнению, носит сугубо формальный характер. Полагаем, что это улучшило бы качество дискуссий научного сообщества на платформе gisap.eu. Рассчитываем на Ваше понимание.

Nesterenco Constantin Mihail

Уважаемые авторы! Следуя Вашим советам, и учитывая тот факт что работу вашу я хорошо изучил, мне хотелось бы получить ответ на несколько вопросов. В чем заключается научная новизна и в чем практическая значимость Ваших исследований? Хотелось что бы Вы указали результаты полученные в сравнении: Контрольный массив и Экспериментальный. График показывает какую-то закономерность, а построение графика базируется на какие-то полученные Вами экспериментальные данные. Хотелось бы увидеть их а не просто гладкий график, тем более что вызывает сомнение формула 2. Степень сомнении, как Вы указали выше, безразмерная величина, степень уверенности тоже безразмерная величина, Тогда как мы можем из 100% отнимать U, имея безразмерную величину, и получаем безразмерную величину, без каких-то предварительных преобразований? C уважением К. Нестеренко

Smirnova Yulia G.

Факт Вашего детального изучения работы для нас весьма сомнителен. Слово "новизна" выделено в первом абзаце жирным шрифтом, Вы можете перечитать его снова, чтобы лучше понять. Сведения о проведении эксперимента содержатся в разделе "Выводы". Более того, в комментариях даны ссылки на соответствующие работы, в которых представлен эксперимент во всех подробностях, в том числе по названным Вами пунктам. Ваши замечания по графику и формулам неясно сформулированы: вопрос ради вопроса - формальный и не самый эффективный способ научной коммуникации. Обращаем Ваше внимание на колоссальное количество пунктуационных и орфографических ошибок в Ваших комментариях (заметим, что во многих современных компьютерных программах есть функция автокоррекции текста, рекомендуем Вам ею воспользоваться). Мы выражаем надежду, что эксперты МАНВО обратят внимание на хамскую тональность Ваших высказываний. Именно поэтому все Ваши дальнейшие комментарии будут нами проигнорированы.

Nesterenco Constantin Mihail

В прошлом комментарии я пытался трактовать научную новизну и практическую значимость делая ссылку на Вас, что бы не было искажений, но после глубокого анализа, все-таки хочется более конкретно получить ответ. Укажите ,пожалуйста , где апробировались Ваши научные результаты? Рассчитываем на Ваше понимание. С уважением К. Нестеренко.

Smirnova Yulia G.

Где именно и когда проводилась апробация, указано в разделе "Выводы". Кроме того, ссылки на исследования с детальными результатами по апробации даны в комментариях г-ну Наби. Обращаем внимание, что возможности системы не позволяют в комментариях размещать графики и расчёты экспериментов, о которых Вы упоминали ранее.

Nesterenco Constantin Mihail

Желаю Вам удачи и научных успехов! С уважением К. Нестеренко

Smirnova Yulia G.

Спасибо!

Lavrenteva Zoya Ivanovna

Предмет Вашего исследования не только научно оригинален, но и имеет важное практическое значение. При решении тестовых заданий, как Вы справедливо отмечаете, необходимо учитывать самые разные показатели самочувствия учащихся. Изучение степени сомнения, пожалуй, можно признать в качестве ведущего показателя (особенно по отношению к тем учащимся, у которых средний или низкий бал традиционных методов оценки знаний). Несомненную практическую значимость имеет выведенная Вами математическая формула определения степени сомнений. Желаю успехов в дальнейшей работе. С уважением, Зоя Лаврентьева

Smirnova Yulia G.

Уважаемая Зоя Ивановна! Ваше мнение для нас очень важно. Благодарим Вас за высокую оценку нашего исследования!

Gryzun Liudmyla Eduardivna

Уважаемые авторы! Хотелось бы отметить высокий уровень научности и оригинальность исследования. Предложенный метод измерения уровня сомнения позволит оптимизировать процедуру анализа результатов тестирования. Возможно, применение аппарата нечеткой логики позволит сделать учет уровня сомнения более гибким. Успехов! С уважением Людмила Гризун.

Smirnova Yulia G.

Многоуважаемая Людмила Эдуардовна! Относительно применения аппарата нечеткой логики, позволяющего сделать учёт уровня сомнения более гибким, полагаем, что это возможно сделать в рамках дополнительных исследований, которые уже начаты нами. Более того, считаем, что подход окажется более интересным, если учитывать не только правильность vs. неправильность ответа, но и частичную правильность и частичную неправильность. Однако это предложение , по нашей оценке, сомнительно и требует проведения дополнительных экспериментов. Благодарим Вас за высокий балл по нашей статье и за Ваше мнение!
PARTNERS
 
 
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
Would you like to know all the news about GISAP project and be up to date of all news from GISAP? Register for free news right now and you will be receiving them on your e-mail right away as soon as they are published on GISAP portal.