Dernière fois Cours d'apprentissage automatique à l'Université de Tsukuba: étudier sklearn tout en intégrant le script Python au devoir (11) https://github.com/legacyworld/sklearn-basic

Challenge 6.2 Noyau et SVM

Cette tâche ne pouvait pas être exactement la même car je ne connaissais pas les valeurs aléatoires des données d'origine (séparation linéaire, lunes, cercles), mais je pense avoir pu saisir la tendance générale. Commentaire sur Youtube: 7e (2) toutes les 48 minutes 30 secondes

La conférence montre que changer la valeur de C ne change pas tellement la tendance. Quelle est cette tendance?

Linear Separation
Comme il s'agit de données créées par make_blobs, elles peuvent être classées proprement.
moons Comme la forme est une combinaison de deux lunes en croissant, il n'est pas possible de les classer de manière parfaitement linéaire, mais le résultat est correct.
circles ――Comme deux cercles se chevauchent, il ne peut pas être classé linéairement.

Le programme a été conçu pour déposer tout ce qui a changé à $ C = 0.01,0.1,0.5,1,10,100 $ dans une image.

`python:Homework_6.2_linear.py`


import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
import matplotlib.colors as mcolors
from sklearn import svm,metrics
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_circles,make_moons,make_blobs

datanames = ['linear_separation','moons','circles']
samples = 200
c_values = [0.01,0.1,0.5,1,10,100]
#3 types de création de données
def datasets(dataname):
    if dataname == 'linear_separation':
        X,y = make_blobs(n_samples=samples,centers=2,random_state=64)
    elif dataname == 'moons':
        X,y = make_moons(n_samples=samples,noise=0.3,random_state=74)
    elif dataname == 'circles':
        X,y = make_circles(n_samples=samples,noise=0.3,random_state=70)
    
    X = preprocessing.MinMaxScaler(feature_range=(-1,1)).fit_transform(X)
    return X,y
#Classer par C et ensemble de données
def learn_test_plot(clf_models):
    for clf in clf_models:
        plt.clf()
        #Draw Train Error et Test Error pour chacun des 3 types de données (6 types au total)
        fig = plt.figure(figsize=(20,10))
        ax = [fig.add_subplot(2,3,i+1) for i in range(6)]
        for a in ax:
            a.set_xlim(-1.5,1.5)
            a.set_ylim(-1.5,1.5)

        for dataname in datanames:
            X,y = datasets(dataname)
            X_tr_val,X_test,y_tr_val,y_test = train_test_split(X,y,test_size=0.3,random_state=42)
            X_tr,X_val,y_tr,y_val = train_test_split(X_tr_val,y_tr_val,test_size=0.2,random_state=42)
            clf.fit(X_tr,y_tr)
            dec = clf.decision_function(X_val)
            predict = clf.predict(X_val)
            train_acc = metrics.accuracy_score(y_val,predict)
            test_predict = clf.predict(X_test)
            test_acc = metrics.accuracy_score(y_test,test_predict)
            c_value = clf.get_params()['C']
            #Données de maillage
            xlim = [-1.5,1.5]
            ylim = [-1.5,1.5]
            xx = np.linspace(xlim[0], xlim[1], 30)
            yy = np.linspace(ylim[0], ylim[1], 30)
            YY, XX = np.meshgrid(yy, xx)
            xy = np.vstack([XX.ravel(), YY.ravel()]).T
            Z = clf.decision_function(xy).reshape(XX.shape)
            #Couleur pour le remplissage
            blue_rgb = mcolors.to_rgb("tab:blue")
            red_rgb = mcolors.to_rgb("tab:red")
            #Disposer verticalement pour chaque jeu de données
            index = datanames.index(dataname)
            # decision_Plus la fonction est grande, plus la couleur est foncée
            ax[index].contourf(XX, YY, Z,levels=[-2,-1,-0.1,0.1,1,2],colors=[red_rgb+(0.5,),red_rgb+(0.3,),(1,1,1),blue_rgb+(0.3,),blue_rgb+(0.5,)],extend='both')
            ax[index].contour(XX,YY,Z,levels=[0],linestyles=["--"])
            ax[index].scatter(X_tr_val[:,0],X_tr_val[:,1],c=y_tr_val,edgecolors='k',cmap=ListedColormap(['#FF0000','#0000FF']))
            ax[index].set_title(f"Training Accuracy = {train_acc} C = {c_value}")

            ax[index+3].contourf(XX, YY, Z,levels=[-2,-1,-0.1,0.1,1,2],colors=[red_rgb+(0.5,),red_rgb+(0.3,),(1,1,1),blue_rgb+(0.3,),blue_rgb+(0.5,)],extend='both')
            ax[index+3].contour(XX,YY,Z,levels=[0],linestyles=["--"])
            ax[index+3].scatter(X_test[:,0],X_test[:,1],c=y_test,edgecolors='k',cmap=ListedColormap(['#FF0000','#0000FF']))
            ax[index+3].set_title(f"Test Accuracy = {test_acc} C = {c_value}")

        plt.savefig(f"6.2_{c_value}.png ")

clf_models = [svm.SVC(kernel='linear',C=c_value) for c_value in c_values]
learn_test_plot(clf_models)

Cliquez ici pour le résultat de $ C = 0.01,1,100 $ Eh bien, vous pouvez dire le même résultat même si vous changez C

6.2_0.01.png 6.2_1.png 6.2_100.png

Messages passés

Cours d'apprentissage automatique à l'Université de Tsukuba: Étudiez sklearn tout en intégrant le script Python à la tâche (12)

Challenge 6.2 Noyau et SVM

python:Homework_6.2_linear.py

Messages passés

`python:Homework_6.2_linear.py`