Le premier débutant en programmation à essayer une analyse de données simple avec programmation

Excuse je n'ai pas mis à jour

La mise à jour a été retardée. Il y a plusieurs raisons (ou excuses), mais je pense que la plupart du temps, je n'ai pas écrit beaucoup de code. Au début de la nouvelle année, le nombre de cours et de devoirs s'est un peu calmé, et en même temps, je vagabondais dans mon esprit, pensant à mon travail de fin d'études et à mon cheminement de carrière après l'obtention du diplôme, donc je ne bougeais pas beaucoup. J'ai donc mis à jour mon blog tous les jours, mais mon impression honnête était qu'il n'y avait pas assez de contenu pour écrire en Qiita. Je suis encore un peu perdu, mais pour le moment, mon travail de fin d'études est décidé et je travaille dur pour y arriver.

J'ai appris un peu de python en classe

Pendant le cours, j'ai joué avec des données sur le cloud. J'ai également découvert un site incroyable appelé Kaggle. C'est la première fois que je l'ai essayé en prenant moi-même des données de Kaggle après le cours et en les vérifiant.

Obtenir des données de kaggle

https://www.kaggle.com/unsdsn/world-happiness#2019.csv Je pensais pouvoir voir différentes corrélations, alors j'ai choisi ceci.

Monter à partir de Google Drive

from google.colab import drive
drive.mount('/content/drive')

Importez à l'avance le fichier CSV requis sur Google Drive

Importation et acquisition de données de bibliothèques éventuellement nécessaires

import numpy as np 
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("/content/drive/My Drive/2019.csv")

J'ai été impressionné par le fait qu'il existe tant d'autres bibliothèques!

Vérifiez le nombre de données et la présence de valeurs manquantes

df.count()

Nombre de données 156, aucune valeur manquante Si je ne fais pas cela, je ne sais pas s'il faut afficher toutes les données ou seulement les premières, alors je l'ai essayé. Je voulais également éviter les données avec de nombreuses valeurs manquantes car cela semblait déroutant. (Je pense que nous devons relever le défi à l'avenir, mais pour le moment, c'est la première fois)

Essayez d'afficher uniquement les 20 premiers

df.head(20)

Le Japon n'est pas inclus

Montrons grossièrement ce qui semble nécessaire

df.describe()

Est-ce simplement la nature des données? Je peux comprendre comment.

Essayez de trouver le coefficient de corrélation entre le score (bonheur) et le soutien social (bien-être social)

#Préparation de la bibliothèque
import numpy as np
import pandas as pd

#Préparation du jeu de données

##Bonheur de tableau
happy = df["Score"]

##Organiser la protection sociale
social = df["Social support"]

#Obtenez le coefficient de corrélation!
correlation = np.corrcoef(social, happy)
print(correlation)

[[1. 0.77705779] [0.77705779 1. ]]

Il est sorti ~~ Puisque le coefficient de corrélation est de 0,7, le bien-être social a une forte corrélation avec le bonheur! !!

Je vais publier une carte thermique

#Préparation de la bibliothèque
import pandas as pd
import numpy as np

#Vous devriez pouvoir obtenir le coefficient de corrélation entre les colonnes!
corr_df =df.corr()
print(corr_df)

Overall rank ... Perceptions of corruption Overall rank 1.000000 ... -0.351959 Score -0.989096 ... 0.385613 GDP per capita -0.801947 ... 0.298920 Social support -0.767465 ... 0.181899 Healthy life expectancy -0.787411 ... 0.295283 Freedom to make life choices -0.546606 ... 0.438843 Generosity -0.047993 ... 0.326538 Perceptions of corruption -0.351959 ... 1.000000

[8 rows x 8 columns]

Je suis désolé, c'est difficile à voir, je suis absent pour le moment!

#Préparation de la bibliothèque
import seaborn as sns
sns.heatmap(corr_df, cmap= sns.color_palette('cool', 5), annot=True,fmt='.2f', vmin = -1, vmax = 1)

J'ai oublié de dépasser complètement le classement général, mais j'ai réussi à l'obtenir!

J'étudierai pour moi dans le futur

Impressions de la classe

J'ai toujours été intéressé par python. C'était un nombre limité de leçons, 4 fois au total, mais c'était intéressant d'apprendre diverses choses sur les «données», pas seulement sur Python. Le reste était purement amusant. Je me souviens avoir fait un peu de statistiques à SPSS lorsque j'étais étudiant diplômé. Je n'ai pas utilisé de statistiques dans ma thèse de maîtrise, donc je n'y ai abordé qu'un peu, mais c'était purement intéressant à l'époque également. Je me suis souvenu de cette époque où j'étais jeune lol

Il y a beaucoup de choses que je veux essayer

Pour le moment, c'était ma première fois, alors j'ai essayé grossièrement sans penser aux choses profondes. Au lieu de penser à des statistiques strictes, essayez simplement de comprendre ou de visualiser. Si vous regardez les spécialistes, je pense qu'il y a beaucoup de choses à faire. Il y a beaucoup de choses que j'aimerais faire avec python, telles que l'analyse factorielle, l'analyse des composants principaux et l'analyse logistique que j'avais l'habitude de faire avec SPSS. Je n'ai pas pu le faire du tout faute de temps et de connaissances pendant le cours ...

Essayez-le régulièrement

Le cours lui-même est terminé, mais en même temps, j'ai senti le potentiel de l'apprentissage automatique, et en même temps, j'ai réalisé que j'avais un faible sentiment d'être dans cette industrie, "je vais avoir un langage essentiel dans le futur!" Je suis sûr que ce n'est pas seulement des choses amusantes ou intéressantes pendant mes études, mais à l'avenir, j'aimerais étudier autant que possible. Je ne prévois pas d'inclure l'apprentissage automatique dans le produit que je fabrique maintenant, alors que puis-je faire dans un cadre différent du travail de fin d'études complet? Il semble que ce sera une non-exécution finie, et je suis déjà inquiet, mais j'ai écrit Qiita pour me prévenir, alors j'aimerais l'essayer petit à petit. J'espère pouvoir décrire petit à petit de tels contenus dans le futur.