Test mathématique 2 (modèle mathématique de la théorie de la réaction des items)

Ceci est une suite de Examen Mathématiques Partie 1 (Définition des questions et génération de données).

La dernière fois, c'était "À propos de la définition des problèmes et de la génération de données". Cette fois, "A propos du modèle mathématique utilisé dans la théorie de la réaction des items".

L'environnement utilisé est

python 3.8
numpy 1.19.2
matplotlib 3.3.1

est.

Courbe caractéristique de l'article

Comme je l'ai écrit la dernière fois, la prise de conscience du problème était ici ** d'estimer la capacité du candidat et la difficulté du problème ** compte tenu des résultats du test. Pour estimer cela, concentrons-nous sur une question particulière et représentons un graphique dans quelle mesure le candidat peut répondre à cette question. Dans les cas extrêmes, vous obtiendrez un graphique comme celui-ci:

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-4, 4, 41)
y = x > 1.3
plt.step(x, y)
plt.xlabel("leaner's skill")
plt.ylabel("probability which learner can answer correctly")
plt.show()

L'axe horizontal est la valeur numérique représentant la capacité du candidat et l'axe vertical est la probabilité que l'apprenant de cette capacité réponde correctement à la question. Un tel graphique est appelé une ** courbe caractéristique d'item **. Dans cet exemple, la réponse est toujours correcte lorsque la capacité de l'apprenant dépasse 1,3, et la réponse est toujours fausse lorsque la capacité de l'apprenant n'est pas dépassée. Si vous avez une telle question, vous pouvez la poser dans l'examen pour mesurer si la capacité de l'apprenant est supérieure à 1,3.

Ici, quelle est la valeur numérique de la capacité de l'apprenant? Je pense que la question se pose naturellement. Pour conclure, la valeur absolue de ce nombre n'a pas de sens. Cependant, lorsqu'il y a deux problèmes relatifs, par exemple la question 1 ci-dessus, la question 2 en est un autre. Supposons que vous ayez une courbe caractéristique d'élément. A ce moment, on peut juger que Q1 est plus difficile que Q2. En réalité,

	Candidat 1	Candidat 2	Candidat 3
question 1	Faux	Faux	Positif
question 2	Faux	Positif	Positif

Lorsque le résultat est obtenu, la valeur de la capacité sera Candidat 1 <Examine 2 <Examiné 3. En outre, dans cette situation, "Q1 (correct) et Q2 (faux)" ne se produira pas.

D'ailleurs, cette situation est un peu extrême car les deux personnes qui peuvent répondre correctement ou répondre incorrectement sont décisives. Compte tenu du traitement statistique réel, on s'attend à ce que des réponses correctes et incorrectes soient quelque peu probables. En particulier, les candidats capables de passer la note pourront répondre correctement en fonction de la question. En ce sens, ce qui est réellement utilisé comme courbe caractéristique d'élément est, par exemple, comme suit. Pour les problèmes avec de bonnes propriétés (problèmes qui n'inversent pas la difficulté et le taux de réponse correct), la fonction de densité cumulative de la distribution de probabilité semble être un bon modèle. Dans la théorie des réactions aux items, la distribution logistique est souvent utilisée comme une fonction mathématiquement facile à gérer. Un modèle qui utilise une distribution logistique est appelé un ** modèle logistique **. Selon le nombre de paramètres par problème, les modèles logistiques de 1 à 3 paramètres sont bien connus [^ 1]. Ce qui suit décrit ce modèle logistique de 1 à 3 paramètres.

1 parameter logistic model (1PL model, Rasch model)

Le modèle logistique à 1 paramètre est l'un des éléments les plus simples traités comme une courbe caractéristique des éléments et peut être exprimé par la formule suivante.

\Pr\{u_{ij} = 1|\theta, a, b\} = \frac{1}{1 + \exp(-a(\theta_j - b_i))}

Ici, comme dans l'article précédent, le paramètre de la question est $ i $ et le paramètre du candidat est $ j $. $ u_ {ij} $ est une variable stochastique qui indique si le candidat $ j $ peut répondre correctement à la question $ i $. En supposant que le nombre total de questions est de $ I $ et que le nombre total de candidats au test est de $ J $, le nombre de paramètres dans ce modèle est $ I $ ($ = b_i $) pour les questions et $ J pour les candidats. Il y a $ ($ = \ theta_j ) et un ( = a $) $ I + J + 1 $ liés au tout. La courbe caractéristique de l'article est dessinée comme suit.

a = 3
def L1P(b, x, a=a):
    return 1 / (1 + np.exp(-  a * (x - b)))

x = np.linspace(-4, 4, 41)
for b in np.linspace(-2, 2, 5):
    y = partial(L1P, b)(x)
    plt.plot(x, y, label=f"{a=}, {b=}")
plt.xlabel("leaner's skill")
plt.ylabel("probability which learner can answer correctly")
plt.legend()
plt.show()

Comme vous pouvez le voir, la caractéristique est que l'inclinaison change d'un seul coup. En d'autres termes, la facilité d'identification du niveau de difficulté pour chaque problème est la même. De cette façon, $ a $ est une quantité liée à la facilité d'identification, on l'appelle donc ** pouvoir de discrimination **. On peut voir que la plage du pouvoir discriminant est un nombre réel positif, et plus le pouvoir discriminant est grand, plus il est facile de discriminer. De plus, $ b $ est appelé ** difficulté ** car il représente la difficulté du problème. La gamme de difficulté est le nombre réel entier [^ 2], et plus la difficulté est élevée, plus le problème est difficile. Ce modèle est également connu sous le nom de modèle Rasch car il a été étudié par le mathématicien danois Rasch au début des années 1960.

2 parameter logistic model (2PL model)

Le modèle logistique à 2 paramètres est un modèle standard et est le seul modèle [^ 3] inclus dans le package python pyirt. C'est presque la même formule que le modèle de Rasch et peut être exprimée comme suit.

\Pr\{u_{ij} = 1|\theta, a, b\} = \frac{1}{1 + \exp(-a_i(\theta_j - b_i))}

Cela signifie que la puissance discriminante indépendante du problème $ a $ est maintenant dépendante du problème ($ a \ rightarrow a_j $). Le nombre de paramètres dans ce modèle est $ 2I $ ($ = a_i, b_i $) lié au problème et $ 2I + J $ lié au candidat ($ = \ theta_j $). .. La courbe caractéristique de l'article est dessinée comme suit.

def L2P(a, b, x):
    return 1 / (1 + np.exp(-  a * (x - b)))
x = np.linspace(-4, 4, 41)
for idx in range(5):
    a = 2 * (idx + 1) / 5
    b = -2.0 + idx
    y = partial(L2P, a, b)(x)
    plt.plot(x, y, label=f"{a=}, {b=}")
plt.xlabel("leaner's skill")
plt.ylabel("probability which learner can answer correctly")
plt.legend()
plt.show()

3 parameter logistic model (3PL model) Le modèle logistique à 3 paramètres est un modèle 2PL plus une quantité appelée ** estimation **. Dans les examens comme le TOEIC, les questions sont des alternatives (questions à 3 choix, questions à 4 choix, etc.). Quelle action un candidat prend-il si le candidat n'a pas la capacité de répondre correctement à cette question alternative? C'est un choix aléatoire. Dans un tel cas, par exemple, dans le cas d'une question à 4 choix, un taux de réponse correcte d'au moins 25% sera assuré. Cette partie de 25% est une supposition. Exprimé dans une formule mathématique, il se présente comme suit.

\Pr\{u_{ij} = 1|\theta, a, b, c\} = c_i + \frac{1 - c_i}{1 + \exp(-a_i(\theta_j - b_i))}

Ici, $ c_i $ est une estimation du problème $ i $, et la plage de valeurs possibles est $ 0 \ leq c_i \ leq 1 $. Le nombre de paramètres dans ce modèle est $ 3I + J $ ($ = a_i, b_i, c_i $) pour les questions et $ J $ ($ = \ theta_j $) pour les candidats. Il y en a un. La courbe caractéristique de l'article est dessinée comme suit.

def L3P(a, b, c, x):
    return c + (1 - c) / (1 + np.exp(-  a * (x - b)))
x = np.linspace(-4, 4, 41)
for idx in range(5):
    a = 2 * (idx + 1) / 5
    b = -2.0 + idx
    c = (4 -  idx) / 10
    y = partial(L3P, a, b, c)(x)
    plt.plot(x, y, label=f"{a=}, {b=}, {c=}")
plt.xlabel("leaner's skill")
plt.ylabel("probability which learner can answer correctly")
plt.legend()
plt.show()

la prochaine fois

Présentation de la méthode d'estimation des paramètres pour le modèle 3PL. Test Mathematics Part 3 (optimisation du modèle 3PL)

Les références

[^ 1]: Il existe également un modèle logistique à 4 paramètres qui exprime que le taux de réponse correcte n'atteint que $ d_i (<1) $, quelle que soit la capacité du candidat, mais je vais l'omettre car je ne vois pas grand-chose. [^ 2]: limite en fait à une plage appropriée telle que le calcul numérique. [^ 3]: au 16 septembre 2020