Test d'hypothèse pour l'amélioration du produit

L'importance du test d'hypothèse et distribution de probabilité dans l'analyse statistique a déjà été expliquée à plusieurs reprises, mais ici encore l'hypothèse nulle et l'hypothèse alternative. Regardons en arrière.

Scénario d'amélioration du produit

La société D développe un dispositif informatique pour les ordinateurs scientifiques. L'équipe R&D a maintenant créé un nouveau prototype avec des performances améliorées en améliorant une version existante. L'équipe de contrôle qualité de l'entreprise a décidé de mesurer les benchmarks logiciels et d'échantillonner et tester 50 échantillons pour voir s'ils étaient vraiment améliorés.
Selon l'équipe de contrôle qualité, le score de performance de l'ancien produit d'origine était en moyenne de 1294 et l'écart type était de 34..Le score de performance moyen du nouveau produit testé comme échantillon est de 1311 et l'écart type est de 28..C'était 3.

Hypothèse nulle et hypothèse alternative

Si vous n'écoutez que l'histoire, le score de performance s'est amélioré, donc je pense que le produit s'est certainement amélioré. À ce stade, l '** hypothèse nulle ** suivante est vraie.

"La performance moyenne des nouveaux produits est égale à la moyenne des anciens produits."

Dans notre sens, nous aimerions émettre l'hypothèse que "la performance moyenne des nouveaux produits est vraiment meilleure que celle des anciens produits". Le test d'hypothèse statistique fait une hypothèse significative lorsqu'elle est rejetée (= refusée).

En d'autres termes, si l'hypothèse nulle est rejetée, elle n'est pas égale, c'est-à-dire que l'on peut dire dans le sens positif que le nouveau produit a certainement été amélioré. Au contraire, s'il n'est pas rejeté, cela signifie que l'échantillon du nouveau produit et de l'ancien produit ne sont pas égaux. Je ne sais pas si cela n'améliore pas vraiment les performances, mais il est correct de dire qu'au moins ce n'est pas amélioré dans cette expérience.

En revanche, l'hypothèse selon laquelle "la performance moyenne du nouveau produit est vraiment meilleure que celle de l'ancien produit" comme dans l'exemple ci-dessus est appelée ** hypothèse alternative **.

Tester l'hypothèse

Je l'ai fait précédemment, mais encore une fois avec SciPy t test .

Les scores pour chaque produit reçu de l'équipe de recherche et développement étaient les suivants.

#Ancien groupe de produits
[ 1225.95543492  1313.6427203   1255.29559405  1245.89449916  1366.75762258
  1327.53242061  1317.92790831  1324.61493269  1265.29687633  1328.31664814
  1261.87166693  1267.1872685   1308.34491084  1298.87127779  1297.86204665
  1245.68834845  1277.92232162  1318.1037024   1317.6412105   1321.97106981
  1376.45531456  1300.69798728  1293.57249855  1252.72982576  1307.78459733
  1308.73137839  1305.15108854  1281.34013092  1299.69826184  1347.69776592
  1252.48079949  1285.19555021  1271.30831279  1264.09883356  1309.92019558
  1275.0874674   1365.35342566  1263.27713759  1303.39574014  1294.24464261
  1293.56856821  1336.95824401  1291.61986512  1275.92673335  1331.23147617
  1266.5493744   1350.91634825  1298.22788355  1339.36570452  1355.4465444 ]

#Nouveau groupe de produits
[ 1354.13405911  1323.75265515  1277.60453412  1327.83291747  1349.05822437
  1272.68414964  1307.47711383  1379.03552722  1258.5028792   1328.53923338
  1363.80040966  1273.70734254  1326.38009765  1323.89588985  1327.32084927
  1311.6073846   1324.9257883   1285.28367883  1281.79079995  1336.87973377
  1327.11775168  1275.35676837  1266.37666597  1290.45032715  1312.39184943
  1296.47809079  1342.23383962  1310.94699159  1303.78171421  1296.65505569
  1342.84984941  1296.4890814   1357.35004255  1276.81169935  1283.04973271
  1292.6973255   1310.64071015  1310.07473863  1315.06180632  1268.3989793
  1294.0418435   1355.21947184  1293.42257727  1257.01667603  1286.30458648
  1286.74731659  1303.56261411  1336.33192992  1290.53467814  1328.87278939]

code

t, p = stats.ttest_rel(old, new)
print( "la valeur t est%(t)s" %locals() )
print( "La probabilité est%(p)s" %locals() )

if p < 0.05:
    print("il y a une différence significative")
else:
    print("Il n'y a pas de différence significative")

La valeur t est -1,503290038513141 La probabilité est 0,139182542398 Il n'y a pas de différence significative est devenu.

Résumé

J'ai réorganisé l'hypothèse nulle et l'hypothèse alternative et testé l'amélioration de la qualité du produit. L'hypothèse nulle est un point déroutant, alors comprenons-la correctement.

référence

Introduction aux statistiques http://ruby.kyoto-wu.ac.jp/~konami/Text/

Scipy: calcul scientifique et technologique de haut niveau http://turbare.net/transl/scipy-lecture-notes/intro/scipy.html

Statistical functions (scipy.stats) http://docs.scipy.org/doc/scipy/reference/stats.html

Recommended Posts

Test d'hypothèse pour l'amélioration du produit
Test d'hypothèse statistique bayésienne
Automatisation des tests pour le travail
Pour se préparer au test G 2020 # 2
Code de test pour évaluer les décorateurs
Modèle Python pour Codeforces-test manuel-
Test d'hypothèse et distribution de probabilité
Méthodes de test pour personnaliser le comportement de Pickle
Création d'un outil de test AtCoder pour Python