Je m'appelle Kei @ airget0919. Je suis ingénieur en apprentissage automatique à Tokyo. J'écris cet article en pensant que je serai peut-être en mesure de produire des compétences pratiques. Cette fois, comme étape préliminaire pour mettre en œuvre le traitement du langage naturel, je vais acquérir des articles sur Internet et effectuer une analyse simple.
Vous pouvez obtenir diverses informations sur le net en utilisant le grattage.
Cette fois, j'utilise du code Python pour obtenir l'article.
Utilisez BeautifulSoup
etc. pour spécifier les informations HTML et CSS et extraire les informations.
Quantifions si le contenu de l'article est négatif ou positif en nous basant sur le Word Emotion Polarity Correspondence Table Je pense. La table de correspondance de polarité des mots d'émotion définit le degré négatif / positif pour un mot de -1 à 1.
Joie: Joie: Nomenclature: 0.998861 Sévère: Sévère: Apocalypse: -0,999755
Etc.
Pour le grattage, j'ai utilisé udemy course. Pour une analyse négative / positive, j'ai fait référence à cet article. De plus, le sujet de cette analyse était Bunchun Online.
Commençons le travail selon ce qui précède. Commençons par importer les bibliothèques requises.
import requests
from bs4 import BeautifulSoup
import re
import itertools
import pandas as pd, numpy as np
import os
import glob
import pathlib
import re
import janome
import jaconv
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.charfilter import *
Tout d'abord, préparez-vous au grattage. Récupérez l'URL et appliquez les "demandes" et "BeautifulSoup".
url = "https://bunshun.jp/" #Enregistrer le lien en ligne Bunchun dans l'URL
res = requests.get(url) # requests.get()Stocker l'URL dans res en utilisant
soup = BeautifulSoup(res.text, "html.parser") #Vous êtes maintenant prêt à gratter avec Beautiful Soup.
Fondamentalement, les articles sont alignés en tant qu'éléments «li» et il existe de nombreux modèles dans lesquels l'élément parent est «ul ». Le titre et l'URL sont obtenus à partir de la liste d'articles à l'aide de l'instruction for.
elems = soup.select("ul") #Puisque la liste d'articles était alignée en tant qu'élément li, son élément parent, ul, est spécifié.
title_list = [] #Liste pour stocker les titres des articles
url_list = [] #Liste pour stocker les URL des articles
for sibling in elems[3]: # elems[3]J'avais une liste que je voulais. Avec ceci pendant une minute, le titre et l'URL de l'article sont obtenus à partir de la liste d'articles et stockés dans la liste respectivement.
if sibling != "\n": #Exclus car il contenait des sauts de ligne
print(sibling.h3.string) #Le titre était dans la balise h3.
title_list.append(sibling.h3.string.replace('\u3000', ' ')) # \Puisqu'il y avait une pièce contenant u3000, elle a été convertie en blanc
print(url + sibling.h3.a["href"]) #Le lien était stocké dans l'attribut href de la balise a.
url_list.append(url + sibling.h3.a["href"]) #La partie sous l'url obtenue ci-dessus a été stockée, je l'ai donc ajoutée.
Ancien dirigeant de Johnny's MADE, Mitsuru Inaba (29 ans) et ancien Berryz Kobo Idol "Shibuya Hotel Date" << Scoop Shooting >>
https://bunshun.jp//articles/-/40869
«Un vaste site d'environ 1 200 m2 à proximité de la gare» «Une utilisation du sol qui équilibre reconstruction de l'habitat et contribution communautaire» Quelle est la réponse des professionnels?
https://bunshun.jp//articles/-/40010
"Travaillons 24 heures sur 24, 365 jours par an" ... "L'éducation aux idées" de Watami était toujours en cours
https://bunshun.jp//articles/-/40843
C'est un effet néfaste de «l'administration verticale»! Toru Hashishita parle de "Qu'est-ce qui ne va pas avec la campagne Go To?"
https://bunshun.jp//articles/-/40877
Un policier crache et arrête pour avoir entravé les devoirs publics Yomiuri Shimbun discipline un journaliste du bureau de Séoul
https://bunshun.jp//articles/-/40868
«C'est un malentendu ridicule» au Conseil d'Adachi sur la discrimination homosexuelle ... Ce que m'a dit la lettre de ma grand-mère de 81 ans
https://bunshun.jp//articles/-/40826
Ramen familial "Guerre de bonne volonté" "Famille Yoshimura contre famille Hexagon" Trahison et succombant de l'histoire des Noirs
Afin de créer une liste de liens, créez une instruction while et obtenez l'URL s'il existe un lien vers la page suivante et la transition vers la page, et si la page transférée a également un lien vers la page suivante, obtenez-le Tournez la boucle de transition. S'il n'y a pas de lien sur la page suivante, passez à l'article suivant. En faisant cela, vous pouvez obtenir les liens de toutes les pages de tous les articles au format liste.
news_list = [] #Les liens vers tous les articles de presse sont stockés ici.
for pickup_link in url_list: #Cette instruction for récupère l'URL de la liste d'URL.
news = [] #Étant donné que les articles de presse sont séparés par page, nous inclurons un lien pour chaque page de cette liste.
news.append(pickup_link) #Stocker le premier lien
pickup_res = requests.get(pickup_link) # requests.get()Obtenir la page à partir du lien en utilisant
pickup_soup = BeautifulSoup(pickup_res.text, "html.parser") #Appliquer une belle soupe
while True: #Dans cette instruction while, s'il existe un lien vers la page suivante, ce lien est acquis et la boucle est acheminée vers cette page.
try: #S'il existe un lien vers la page suivante à la destination de la transition, cette boucle sera répétée pour toujours.
next_link = pickup_soup.find("a", class_="next menu-link ga_tracking")["href"] # next menu-link ga_L'attribut href de la balise a avec le suivi de classe était le lien vers la page suivante.
next_link = url + next_link
next_res = requests.get(next_link) # requests.get()Et Beautiful Soup sont utilisés pour obtenir les informations de page de la destination de transition.
pickup_soup = BeautifulSoup(next_res.text, "html.parser")
news.append(next_link) #Ajoutez les informations de chaque page aux actualités.
except Exception: #S'il n'y a pas de lien vers la page suivante, ce processus sera exécuté.
news_list.append(news) #Puisque l'URL de tous les articles du titre est stockée dans les actualités, il s'agit de news_Stocker dans la liste.
break
display(news_list) #Affichez la liste des URL créées.
[['https://bunshun.jp//articles/-/40869',
'https://bunshun.jp//articles/-/40869?page=2',
'https://bunshun.jp//articles/-/40869?page=3',
'https://bunshun.jp//articles/-/40869?page=4'],
['https://bunshun.jp//articles/-/40010',
'https://bunshun.jp//articles/-/40010?page=2'],
['https://bunshun.jp//articles/-/40843',
'https://bunshun.jp//articles/-/40843?page=2',
'https://bunshun.jp//articles/-/40843?page=3',
'https://bunshun.jp//articles/-/40843?page=4'],
['https://bunshun.jp//articles/-/40877',
'https://bunshun.jp//articles/-/40877?page=2'],
['https://bunshun.jp//articles/-/40868',
'https://bunshun.jp//articles/-/40868?page=2'],
['https://bunshun.jp//articles/-/40826',
'https://bunshun.jp//articles/-/40826?page=2',
'https://bunshun.jp//articles/-/40826?page=3',
'https://bunshun.jp//articles/-/40826?page=4'],
['https://bunshun.jp//articles/-/40752',
'https://bunshun.jp//articles/-/40752?page=2',
'https://bunshun.jp//articles/-/40752?page=3',
'https://bunshun.jp//articles/-/40752?page=4'],
['https://bunshun.jp//articles/-/40862',
'https://bunshun.jp//articles/-/40862?page=2',
'https://bunshun.jp//articles/-/40862?page=3'],
['https://bunshun.jp//articles/-/40841',
'https://bunshun.jp//articles/-/40841?page=2',
'https://bunshun.jp//articles/-/40841?page=3',
'https://bunshun.jp//articles/-/40841?page=4',
'https://bunshun.jp//articles/-/40841?page=5'],
['https://bunshun.jp//articles/-/40694',
'https://bunshun.jp//articles/-/40694?page=2',
'https://bunshun.jp//articles/-/40694?page=3',
'https://bunshun.jp//articles/-/40694?page=4']]
Maintenant que vous avez créé la liste d'URL avec le code ci-dessus, suivez ce lien pour obtenir le corps de l'article. Je ne peux obtenir que le texte en appliquant «.text», mais j'applique «.text» en tournant l'instruction for en détail. Par conséquent, j'ai créé une liste qui stocke le texte tout en créant et en stockant des caractères vides (ou une liste vide).
news_page_list = [] #Le texte de tous les articles est stocké ici.
for news_links in news_list: #Cette instruction for extrait la liste de liens d'un certain titre de la liste des URL.
news_page = '' #Nous ajouterons ici le texte obtenu à partir de chaque page.
for news_link in news_links: #Extrayez les liens un par un de la liste de liens dans le titre.
news_res = requests.get(news_link) # requests.get()Et utilisez Beautiful Soup pour obtenir des informations sur l'article.
news_soup = BeautifulSoup(news_res.text, "html.parser")
news_soup = news_soup.find(class_=re.compile("article-body")).find_all("p") # article-Le corps était stocké dans la balise p directement sous la balise avec le corps de l'identifiant.
news_phrase = '' #Stocke la phrase dans le corps de la page
for news in news_soup: #J'ai pu obtenir uniquement la phrase du corps en appliquant du texte en le tournant avec une instruction for.
news_phrase += news.text.replace('\u3000', ' ') #Ajoutez la phrase acquise. Parce que c'est une chaîne de caractères+J'ai pu l'ajouter avec.
news_page += news_phrase #Si vous pouvez obtenir une page de phrases, nouveau_Ajouter à la page
news_page_list.append(news_page) #Tout le texte d'un titre est nouveau_nouvelles lorsqu'elles sont stockées dans la page_page_Ajouté à la liste. Puisqu'il s'agit d'un type de liste, utilisez append.
for i in range(1, 4): #Affiche une partie du texte acquis. Il semble que j'ai pu l'obtenir avec succès.
print("<%s>" % i, news_page_list[i][:500], end="\n\n")
<1> Mitsui Home continue d’être choisie comme «partenaire d’utilisation des terres» par de nombreux propriétaires fonciers. Grâce à des entretiens avec les commerciaux de l'entreprise, professionnels de l'utilisation des sols, ce projet permettra de découvrir les raisons pour lesquelles Mitsui Home est choisi comme partenaire. Cette fois, nous présenterons un exemple de reconstruction d'un vaste site résidentiel d'environ 1200 m2 à Fuchu City, Tokyo, en un total de deux bâtiments: une clinique + un logement locatif + une maison et une école maternelle. Nous nous sommes entretenus avec Toshito Nishijima, responsable du groupe de vente de la zone ouest de Tokyo, département des ventes de Tokyo Consulting, qui était en charge de cette affaire. À environ 5 minutes à pied de la gare la plus proche sur la ligne Keio, qui s'étend à l'ouest du centre-ville, se trouvait la maison du propriétaire, qui avait continué depuis avant la guerre. La superficie du site est d'environ 1 200 m2. La maison de 50 ans vieillissait et devait être reconstruite. Le propriétaire dans ses 70 ans est une famille de propriétaires qui ont continué dans ce domaine pendant des générations et possèdent plusieurs appartements locatifs autour de sa maison. Le début de ce projet était d'utiliser efficacement le vaste site d'environ 1 200 m2, en profitant de la reconstruction d'une maison délabrée qui avait environ 50 ans. C'est début 2018 que la banque nous a amené une consultation. Tout d'abord, j'ai rencontré le propriétaire avec un plan de logement + logement locatif. Alors oh
<2> Watami Co., Ltd. est toujours accusé de problèmes de travail. Le 2 octobre, le directeur du bureau de vente "Watami's Home Cooking" a annoncé une série de recommandations du Bureau d'inspection des normes du travail pour corriger les heures supplémentaires non rémunérées, les longues heures de travail dépassant 175 heures par mois et la falsification des fiches de présence par les patrons. Il est. Heures supplémentaires de 175 heures par mois en raison de la «société blanche» faisant la publicité de la recommandation de correction de Watami du Bureau du travail en raison de la rémunération des heures supplémentaires non rémunérées Pourquoi ne suis-je pas devenue une société blanche? Quant au système de «falsification» des présences, M. A a perdu le sens du jour et de la nuit après avoir travaillé de longues heures, et a même vécu avec la crainte de ne pas se réveiller s'il dormait tel quel. «Si j'avais travaillé comme ça, je serais mort», affirme A. Actuellement, il a développé une maladie mentale et est en congé pour demander un accident du travail. Cependant, pourquoi M. A a-t-il continué à travailler dur tout en ressentant le danger de sa vie? Derrière cela se trouvait un système d '«éducation aux idées» de Watami qui travaillait sur la conscience des travailleurs et leur faisait accepter un travail dur. "Je fais un si bon travail, alors je ferai de mon mieux même si c'est douloureux." "Ce n'est pas douloureux même si c'est douloureux. Au contraire, ça m'aide." Se dit M. A pendant le surmenage. En fait, un
<3> "Réforme de la réglementation" "Réforme administrative" "Percée verticale". Après l'inauguration de l'administration Yoshii Suga, le mot «réforme» est venu à être entendu fréquemment. Lors de la conférence de presse inaugurale du 16 septembre, le Premier ministre Kan a déclaré que "la réforme de la réglementation se fera au milieu de l'administration". Comment le Japon changera-t-il à la suite de cette «réforme»? Toru Hashishita, qui a une relation étroite avec le Premier ministre Kan, a parlé des objectifs de la «réforme» de l'administration Kan dans une interview avec le numéro de novembre de «Bungei Haruaki». D'après sa propre expérience, M. Hashishita dit qu'il est important d'avoir le sens du «drôle» pour procéder à la «réforme». "Pour" réformer le pouvoir ", il est extrêmement important de toujours garder un œil sur les choses autour de vous et de dire" c'est étrange "immédiatement. Ensuite, corrigez-le à chaque fois. Même lorsque j'étais gouverneur et maire, c'était une série de tâches de ce genre. Par exemple, lorsque je suis monté dans une voiture publique, cinq journaux ont été rapidement insérés dans le porte-revues. Au moment où je suis arrivé au bâtiment du gouvernement. C'est chouette car on peut consulter les actualités, mais quand on entre dans le bureau du gouverneur, 5 papiers sont sur le bureau, et quand on va à la salle de réception du gouverneur, 5 papiers encore ... N'est-ce pas? "" Qu'est-ce qui se passe, ce nouveau
Les informations obtenues par grattage jusqu'à présent sont stockées dans un DataFrame. Cela rend non seulement les données plus faciles à voir, mais également plus faciles à gérer. Si possible, tout ce que vous avez à faire est de traiter les données et d'effectuer une analyse négative / positive!
new_no_list = [x for x in range(len(title_list))] #News Non, je l'utiliserai plus tard.Créer
newslist = np.array([new_no_list, title_list, url_list, news_page_list]).T #Np en préparation pour le stockage dans DataFrame.Stockez-le dans la liste des baies et transférez-le.
newslist = pd.DataFrame(newslist, columns=['Actualités Non.', 'title', 'url', 'news_page_list']) #Stocker dans DataFrame en spécifiant le nom de la colonne
newslist = newslist.astype({'Actualités Non.':'int64'}) # あとでテーブルを結合するためにActualités Non.Vers le type int64
display(newslist)
News No. th> | title | url | news_page_list | |
---|---|---|---|---|
0 | 0 | Ancien dirigeant de Johnny's MADE, Mitsuru Inaba (29 ans) et ancien Berryz Kobo Idol "Shibuya Hotel Date ... td> | https://bunshun.jp//articles/-/40869 | Ryota Yamamoto (30 ans) de l'unité populaire "Space Six" de Johnny's Jr. se rend dans un magasin de machines à sous obscures illégal ... td> |
1 | 1 | "Un vaste site d'environ 1 200 m2 à proximité de la gare" "Une utilisation du sol qui équilibre la reconstruction du logement et la contribution communautaire" Les professionnels mettent ... td> | https://bunshun.jp//articles/-/40010 | Mitsui Home continue d’être choisie comme «partenaire d’utilisation des terres» par de nombreux propriétaires fonciers. Utilisation des terres ... td> |
2 | 2 | "Travaillons 24 heures sur 24, 365 jours par an" ... "L'éducation aux idées" de Watami était toujours en cours. Td> | https://bunshun.jp//articles/-/40843 | Watami Co., Ltd. continue d'être accusé de problèmes de main-d'œuvre. 2 octobre, directeur du bureau de vente "Watami's Home Cooking" ... td> |
3 | 3 | C'est un mauvais effet de "l'administration verticale"! Toru Hashishita parle de "Qu'est-ce qui ne va pas avec la campagne Go To?" Tdd> | https://bunshun.jp//articles/-/40877 | "Réforme de la réglementation" "Réforme administrative" "Percée verticale". Après l'inauguration de l'administration de Yoshii Suga, j'ai souvent entendu le mot «réforme» ... td> |
4 | 4 | Des policiers crachés arrêtés pour avoir entravé les devoirs publics Yomiuri Shimbun discipline le journaliste du bureau de Séoul td> | https://bunshun.jp//articles/-/40868 | Un journaliste (34 ans) du bureau Yomiuri Shimbun Séoul a été arrêté par les autorités coréennes à la mi-juillet, soupçonné d'entraver l'exécution des affaires publiques ... td> |
5 | 5 | "C'est un malentendu ridicule" au Conseil d'Adachi sur la discrimination homosexuelle ... Ce que la lettre de ma grand-mère de 81 ans m'a dit td> | https://bunshun.jp//articles/-/40826 | "Grand-mère est en colère contre l'Assemblée de la paroisse d'Adachi et semble écrire une lettre." Cette LIGNE est venue de ma mère ... td> |
6 | 6 | Famille ramen "Guerre de bonne volonté" "Famille Yoshimura contre Famille Hexagon" Trahison et histoire des Noirs succombants https://bunshun.jp//articles/-/40752 |
"La" famille Hexagon "a fait faillite, mais le nombre de magasins de" ramen familial "en tant que genre augmente d'année en année, et ... td>
| |
7 | 7 | << Hirate school and graduation >> "Triste chose dans l'activité" écrit par Keyakizaka46 et Shiori Sato "Détention soudaine ... td>" par Sakurazaka46 | https://bunshun.jp//articles/-/40862 | << Bonsoir à tous. Aujourd'hui, j'ai quelque chose à dire à tous ceux qui me soutiennent toujours. Moi, Sato ... td> |
8 | 8 | La plus grande réalisation de l'administration Abe était-elle le "Musée Ainu"? La vérité sur "upopoi" avec 20 milliards de yens td> | https://bunshun.jp//articles/-/40841 | ── Est-ce que ça va vraiment? Sur le chemin du retour, en louant une voiture sur la route pluvieuse, j'ai ressenti ça ... td> |
9 | 9 | Pas "longueur" ... "Mots inattendus" enseignés par les salons de beauté lors de la coupe de cheveux td> | https://bunshun.jp//articles/-/40694 | La couette devient de plus en plus confortable ces jours-ci. Porter une fine couche pour la soudaine différence de température entre le matin et le soir ... td> |
Utilisez le «Tableau de correspondance de polarité des émotions des mots» comme critère de jugement négatif / positif. Téléchargez-le à l'avance dans votre répertoire de travail. Préparez ce "Tableau de correspondance de polarité des émotions de mots" dans un formulaire à utiliser dans l'analyse.
p_dic = pathlib.Path('/work/dic') #Passez le chemin vers le dossier dic dans le répertoire de travail. Le fichier "table de correspondance de polarité mot émotion" est mis ici.
for i in p_dic.glob('*.txt'): #Trouvez le fichier en question.
with open (i, 'r', encoding='utf-8') as f:
x = [i.replace('\n', '').split(':') for i in f.readlines()] #Lisez ligne par ligne.
posi_nega_df = pd.DataFrame(x, columns = ['Forme basique', 'en train de lire', 'Partie', 'But']) # en train de lire込んだデータをDataFrameに格納します。
posi_nega_df['en train de lire'] = posi_nega_df['en train de lire'].apply(lambda x : jaconv.hira2kata(x)) #Convertir un pseudonyme plat en katakana(同じen train de lireのものが含まれており、重複を無くす為のようです。)
posi_nega_df = posi_nega_df[~posi_nega_df[['Forme basique', 'en train de lire', 'Partie']].duplicated()] #Supprimez les doublons.
posi_nega_df.head()
Forme de base th> | Lecture th> | Partie de mots th> | Score e> | |
---|---|---|---|---|
0 | excellent td> | Sugurel td> | verbe td> | 1 |
1 | bon td> | Yoi td> | adjectifs td> | 0.999995 |
2 | Réjouissez-vous td> | Yorokobu td> | verbe td> | 0.999979 |
3 | Compliment td> | Homel td> | verbe td> | 0.999979 |
4 | Félicitations td> | Médétaï td> | adjectifs td> | 0.999645 |
L'analyse morphologique du texte de l'article est transformée en une forme qui peut être utilisée pour l'analyse.
Utilisez Tokenizer ()
et ʻUnicodeNormalizeCharFilter () `pour l'analyse morphologique.
Extraire des mots, des formes de base, des parties et des lectures et les stocker dans un DataFrame.
Ensuite, fusionnez le DataFrame de l'article avec la «table de correspondance de polarité mot émotion» pour noter les mots contenus dans l'article.
Le tableau est présenté ci-dessous.
Le mot «populaire» a un score élevé et a été jugé positif.
Pourquoi les autres mots ont-ils obtenu ce score? Il y a aussi quelque chose comme ça, mais continuons sans nous en soucier.
i = 0 #C'est des nouvelles Non.Il est utilisé lors de l'acquisition.
t = Tokenizer()
char_filters = [UnicodeNormalizeCharFilter()]
analyzer = Analyzer(char_filters=char_filters, tokenizer=t)
word_lists = []
for i, row in newslist.iterrows(): #Augmenter i un par un Actualités Non.ça ira.
for t in analyzer.analyze(row[3]): #Le texte est stocké dans la troisième colonne de l'étiquette extraite.
surf = t.surface #mot
base = t.base_form #Forme basique
pos = t.part_of_speech #Partie
reading = t.reading #en train de lire
word_lists.append([i, surf, base, pos, reading]) # word_Ajouter aux listes
word_df = pd.DataFrame(word_lists, columns=['Actualités Non.', 'mot', 'Forme basique', 'Partie', 'en train de lire'])
word_df['Partie'] = word_df['Partie'].apply(lambda x : x.split(',')[0]) # Partieは複数格納されるが最初の1つのみ利用
display(word_df.head(10)) #Afficher le tableau de texte créé
print("↓ ↓ ↓ ↓ ↓ ↓ ↓ Fusionner avec le tableau de correspondance de polarité mot émotion ↓ ↓ ↓ ↓ ↓ ↓ ↓")
score_result = pd.merge(word_df, posi_nega_df, on=['Forme basique', 'Partie', 'en train de lire'], how='left') #Fusionner le tableau de texte et le tableau de correspondance de polarité d'émotion de mot
display(score_result.head(10)) #Affichez le tableau des scores créé. Je comprends que le mot "populaire" a un score élevé, mais les autres sont subtils ...
News No. th> | mot th> | Forme de base th> | Partie de mots th> | Lecture th> | |
---|---|---|---|---|---|
0 | 0 | Ja td> | Ja td> | nomenclature td> | Ja td> |
1 | 0 | Besoins td> | Besoins td> | nomenclature td> | Besoins td> |
2 | 0 | Jr | Jr | nomenclature td> | * |
3 | 0 | . | . | nomenclature td> | * |
4 | 0 | À l'intérieurtd> À l'intérieur | td> | nomenclature td> | Nai td> |
5 | 0 | td> | td> | Auxiliaire td> | ノ td> |
6 | 0 | Populaire td> | Populaire td> | nomenclature td> | Ninki td> |
7 | 0 | unité td> | unité td> | nomenclature td> | unité td> |
8 | 0 | 「 | 「 | symbole td> | 「 |
9 | 0 | Espace td> | Espace td> | nomenclature td> | Uchu td> |
↓ ↓ ↓ ↓ ↓ ↓ ↓ Fusionner avec le tableau de correspondance de polarité mot émotion ↓ ↓ ↓ ↓ ↓ ↓ ↓
News No. th> | mot th> | Forme de base th> | Partie de mots th> | Lecture th> | Score e> | |
---|---|---|---|---|---|---|
0 | 0 | Ja td> | Ja td> | nomenclature td> | Ja td> | NaN |
1 | 0 | Besoins td> | Besoins td> | nomenclature td> | Besoins td> | -0.163536 |
2 | 0 | Jr | Jr | nomenclature td> | * | NaN |
3 | 0 | . | . | nomenclature td> | * | NaN |
4 | 0 | À l'intérieurtd> À l'intérieur | td> | nomenclature td> | Nai td> | -0.74522 |
5 | 0 | td> | td> | Auxiliaire td> | ノ td> | NaN |
6 | 0 | Populaire td> | Populaire td> | nomenclature td> | Ninki td> | 0.96765 |
7 | 0 | unité td> | unité td> | nomenclature td> | unité td> | -0.155284 |
8 | 0 | 「 | 「 | symbole td> | 「 | NaN |
9 | 0 | Espace td> | Espace td> | nomenclature td> | Uchu td> | -0.515475 |
Évaluez le degré négatif / positif de l'article entier à l'aide du tableau créé précédemment.
result = []
for i in range(len(score_result['Actualités Non.'].unique())): # Actualités Non.Utilisez pour activer l'instruction for.
temp_df = score_result[score_result['Actualités Non.']== i]
text = ''.join(list(temp_df['mot'])) # 1タイトル内の全てのmotをつなげる。
score = temp_df['But'].astype(float).sum() # 1タイトル内のButを全て足し合わせる。➡︎累計But
score_r = score/temp_df['But'].astype(float).count() # 本文の長さに影響されないように単語数で割り算する。➡︎標準化But
result.append([i, text, score, score_r])
ranking = pd.DataFrame(result, columns=['Actualités Non.', 'texte', 'Score cumulé', 'Score standardisé']).sort_values(by='Score standardisé', ascending=False).reset_index(drop=True) # Score standardiséで並び替えてDataFrameに格納
ranking = pd.merge(ranking, newslist[['Actualités Non.', 'title', 'url']], on='Actualités Non.', how='left') # Actualités Non.Fusionner par critères. Ajoutez un titre et une URL.
ranking = ranking.reindex(columns=['Actualités Non.', 'title', 'url', 'texte', 'Score cumulé', 'Score standardisé']) #Trier les colonnes
display(ranking)
News No. th> | title | url | texte th> | Score cumulé e> | Score standardisé e> | |
---|---|---|---|---|---|---|
0 | 6 | Famille ramen "Guerre de bonne volonté" "Famille Yoshimura contre Famille Hexagon" Trahison et histoire des Noirs succombants https://bunshun.jp//articles/-/40752 |
"La" famille Hexagon "a fait faillite, mais le nombre de magasins de" ramen familial "en tant que genre augmente d'année en année, et ... td>
| -238.437124 |
-0.408983 |
|
1 | 1 | "Un vaste site d'environ 1 200 m2 à proximité de la gare" "Une utilisation du sol qui équilibre la reconstruction du logement et la contribution communautaire" Les professionnels mettent ... td> | https://bunshun.jp//articles/-/40010 | Mitsui Home continue d’être choisie comme «partenaire d’utilisation des terres» par de nombreux propriétaires fonciers. Utilisation des terres ... td> | -315.299051 | -0.438524 |
2 | 7 | << Hirate school and graduation >> "Triste chose dans l'activité" écrit par Keyakizaka46 et Shiori Sato "Détention soudaine ... td>" par Sakurazaka46 | https://bunshun.jp//articles/-/40862 | << Bonsoir à tous. Aujourd'hui, j'ai quelque chose à dire à tous ceux qui me soutiennent toujours. Moi, Sato ... td> | -136.887378 | -0.447344 |
3 | 5 | "C'est un malentendu ridicule" au Conseil d'Adachi sur la discrimination homosexuelle ... Ce que la lettre de ma grand-mère de 81 ans m'a dit td> | https://bunshun.jp//articles/-/40826 | "Grand-mère est en colère contre l'Assemblée de la paroisse d'Adachi et semble écrire une lettre." Cette LIGNE est venue de ma mère ... td> | -213.244051 | -0.460570 |
4 | 9 | Pas "longueur" ... "Mots inattendus" enseignés par les salons de beauté lors de la coupe de cheveux td> | https://bunshun.jp//articles/-/40694 | La couette devient de plus en plus confortable ces jours-ci. Je portais un manteau fin en raison de la soudaine différence de température entre le matin et le soir ... | -192.702889 | -0.475810 |
5 | 8 | La plus grande réalisation de l'administration Abe était-elle le "Musée Ainu"? La vérité sur "upopoi" avec 20 milliards de yens td> | https://bunshun.jp//articles/-/40841 | ── Ça va vraiment? Sur le chemin du retour, en louant une voiture sur la route pluvieuse, je me sens comme ça ... | -483.393151 | -0.476719 |
6 | 0 | Ancien dirigeant de Johnny's MADE, Mitsuru Inaba (29 ans) et ancien Berryz Kobo Idol "Shibuya Hotel Date ... td> | https://bunshun.jp//articles/-/40869 | Ryota Yamamoto (30 ans) de l'unité populaire "Space Six" de Johnny's Jr. se rend dans un magasin de machines à sous obscures illégal ... td> | -196.888853 | -0.479048 |
7 | 3 | C'est un mauvais effet de "l'administration verticale"! Toru Hashishita parle de "Qu'est-ce qui ne va pas avec la campagne Go To?" Tdd> | https://bunshun.jp//articles/-/40877 | "Réforme de la réglementation" "Réforme administrative" "Percée verticale". Après l'inauguration de l'administration de Yoshii Suga, j'ai souvent entendu le mot «réforme» ... td> | -94.718989 | -0.480807 |
8 | 4 | Des policiers crachés arrêtés pour avoir entravé les devoirs publics Yomiuri Shimbun discipline le journaliste du bureau de Séoul td> | https://bunshun.jp//articles/-/40868 | Un journaliste (34 ans) de la branche de Séoul du Yomiuri Shimbun a été arrêté par les autorités coréennes à la mi-juillet, soupçonné d'entraver l'exécution des affaires publiques ... | -144.916148 | -0.489582 |
9 | 2 | "Travaillons 24 heures sur 24, 365 jours par an" ... "L'éducation aux idées" de Watami était toujours en cours. Td> | https://bunshun.jp//articles/-/40843 | Watami Co., Ltd. continue d'être accusé de problèmes de main-d'œuvre. Le 2 octobre, le directeur du bureau commercial "Watami's Home Cooking" ... td> | -321.838102 | -0.528470 |
Présentons les articles les plus positifs et les articles les plus négatifs.
print("<<1ère place positive>>", end="\n\n")
for i in range(1, 4):
print(ranking.iloc[0, i])
<< 1ère place positive >>
Ramen familial "Guerre de bonne volonté" "Famille Yoshimura contre famille Hexagon" Trahison et succombant de l'histoire des Noirs
print("<<Négatif 1ère place>>", end="\n\n")
for i in range(1, 4):
print(ranking.iloc[-1, i])
<< Négative 1ère place >>
"Travaillons 24 heures sur 24, 365 jours par an" ... "L'éducation aux idées" de Watami était toujours en cours https://bunshun.jp//articles/-/40843 Les accusations concernant les problèmes de travail de Watami Co., Ltd. se poursuivent. Le 2 octobre, le directeur du bureau de vente "Watami's Home Cooking" a annoncé une série de recommandations du Bureau d'inspection des normes du travail pour corriger les heures supplémentaires non rémunérées, les longues heures de travail dépassant 175 heures par mois et la falsification des fiches de présence par les patrons. Il est. Heures supplémentaires de 175 heures par mois en raison de la «société blanche» faisant la publicité de la recommandation de correction de Watami du Bureau du travail en raison des heures supplémentaires non rémunérées Pourquoi Watami n'est-il pas devenu une société blanche? J'ai perdu ce sentiment, et j'ai même vécu dans la peur: "Si je dors comme ça, je ne me réveillerai peut-être plus." «Si j'avais travaillé comme ça, je serais mort», affirme A. Actuellement, il a développé une maladie mentale et est en congé pour demander un accident du travail. Cependant, pourquoi M. A a-t-il continué à travailler dur tout en ressentant le danger de sa vie? Derrière cela se trouvait un système d '«éducation aux idées» de Watami qui travaillait sur la conscience des travailleurs et leur faisait accepter un travail dur. "Je fais un si bon travail, alors je ferai de mon mieux même si c'est douloureux." "Ce n'est pas douloureux même si c'est douloureux. Au contraire, ça m'aide." Se dit M. A pendant le surmenage. En fait, M. A était «fier» du travail de cuisine à domicile de Watami. Certes, le «repas fait maison» de Watami a une partie qui peut être appelée «contribution sociale». Les repas maison de Watami ont le concept de livrer régulièrement des repas bon marché aux personnes âgées qui ont des difficultés à se procurer des repas. Les destinations de livraison du bureau des ventes de M. A étaient toutes de telles personnes. Les personnes âgées vivant seules qui vont au service de jour tous les deux jours et ont du mal à manger quand elles sont à la maison tous les deux jours. Les personnes âgées, les personnes handicapées et les personnes qui prennent soin de leurs parents qui commandent deux repas, un pour le déjeuner et un pour le dîner, et ne mangent que le repas maison de Watami. En raison des conditions de vie difficiles, il y avait divers utilisateurs qui ne pouvaient pas consacrer du temps, du temps et de l'argent aux repas et qui devaient compter sur moi. Pour M. A, qui avait travaillé jusque-là dans le domaine des soins infirmiers et de l'éducation, le travail de cuisine à domicile qui était bénéfique pour la société et la communauté était très enrichissant. Cependant, si vous essayez de faire un profit grâce à un tel «soutien», vous serez soutenu par le sacrifice des travailleurs en raison des longues heures de travail et des bas salaires. On peut appeler cela une «entreprise pauvre / noire». Au début, M. A pensait calmement que la satisfaction au travail et le travail pénible devaient être séparés et était mécontent de Watami quant à la difficulté du travail. Cependant, les mauvaises conditions de travail n'étaient plus un problème dans l'esprit de M. A. M. A rappelle que c'est «l'éducation aux idées» de Watami qui a provoqué ce changement. «Travaillez 24 heures par jour, 365 jours par an jusqu'à votre mort.» Beaucoup d'entre vous connaissent peut-être cette phrase. C'est un mot qui a été écrit dans un livre de 400 pages intitulé "Philosophy Collection", qui a été édité à partir d'un extrait du texte de Miki Watanabe au cours des 30 dernières années. Immédiatement après avoir rejoint l'entreprise, M. A a reçu une «collection d'idées» de la part de l'entreprise et on lui a dit de garder sa peau. Actuellement, sous la critique, des expressions extrêmes telles que «travailler jusqu'à la mort» ont été supprimées. Citons tout de même quelques-unes des expressions impressionnantes qui n'ont pas été supprimées dans la "Philosophy Collection" (édition 2016) remise à Mr. A. <Je ne pense pas que le travail soit simplement un moyen de gagner de l'argent. Je crois que le travail est le «mode de vie» même de la personne et «le seul moyen de s'épanouir». C'est pourquoi même lors des séminaires pour les nouveaux diplômés, en me disant que c'est dépassé, je dis: «Travaillons 24 heures sur 24, 365 jours par an.»> <Moi aussi, lors d'une séance d'information sur l'entreprise, «le travail est la vie même. N'utilisez aucun moyen pour faire cela. Améliorons l'humanité par le travail. "> <Le meilleur produit de Watami Takushoku est connu sous le nom de" personnes ". Magokoro-san (Note: livreur fait maison) est une personne qui porte un déjeuner avec un «cœur» et reçoit un «merci». Je prie pour que personne ne se méprenne et pense que c'est un travail de porter «déjeuner» et de recevoir «de l'argent»> De cette façon, le livre encourage le travail pour remercier les clients pour «merci». Ensuite, il y avait beaucoup de contenu qui critiquait le travail pour un salaire et justifiait de se sacrifier au profit de Watami. Lorsque M. A, qui a rejoint Watami, a eu des problèmes, le président de la branche a demandé: "Avez-vous lu correctement le chapitre x de la Philosophie Collection?", Parce qu'il ne comprenait pas pleinement "l'idée" de M. Miki Watanabe. Il a été noté que. En outre, il y a des conseils mensuels par le responsable régional, où les impressions de la "newsletter interne" de ce mois (publié mensuellement et de nombreux textes de la collection de philosophie sont extraits d'ici) et les impressions de n'importe quelle partie de la collection de philosophie. Devait être écrit. De plus, un rapport était imposé une fois tous les quatre mois. Deux impressions se sont imposées sur la portée du chapitre précisée à partir du recueil d'idées et des propos écrits par M. Watanabe parus dans le bulletin de l'entreprise au cours des quatre derniers mois. À l'origine, M. A estimait que soumettre ces impressions était «désagréable». Cependant, à contrecoeur, alors qu'il était écrit en continu, "j'ai senti que les idées de Miki Watanabe étaient plantées quelque part." C'est l'existence de la "lettre vidéo" qui a approfondi cela. Chaque mois, une "lettre vidéo" mettant en vedette Miki Watanabe était remise au bureau des ventes. Le narrateur du populaire programme télévisé "Passionné Continent" est nommé, et Miki Watanabe apparaît à chaque fois, et c'est une vidéo de 30 minutes qui explique la splendeur des affaires de Watami. Des impressions mensuelles étaient également requises pour cette vidéo. De plus, ce n'est pas seulement le réalisateur qui écrit. Même le livreur, qui était censé être un propriétaire d'entreprise privée, était inclus dans le contrat pour regarder la lettre vidéo chaque mois et écrire ses impressions. Lorsque les livreurs voient cette vidéo au bureau des ventes, leurs impressions sont écrites à la main dans leur propre colonne d'impression (il y a un espace pour écrire environ 60 caractères) sur la feuille où sont listés les noms du directeur et du livreur. .. Le personnel de livraison ne paie que cent et plusieurs dizaines de yens par destination de livraison, mais il n'y a pas de nouvelle récompense pour regarder cette vidéo ou écrire leurs impressions. De plus, si les impressions du livreur étaient des critiques de Watami ou un mécontentement à l'égard du travail, le réalisateur avait pour instruction de marquer l'endroit et d'ajouter un commentaire. En tant qu'instrument original, M. A a poliment commenté les impressions de tout le personnel de livraison avec un nombre de caractères qui dépassait les impressions du personnel de livraison. Et on dit que ce «commentaire» a joué un rôle majeur dans la «formation de l'idée» de M. A. M. A a été informé par le directeur régional de son patron: "C'est aussi le travail du directeur de" prendre "le personnel de livraison pour écrire des impressions qui font l'éloge de Watami." Ils essaient de "contrôler" les impressions du personnel de livraison. Cependant, M. A n'a pas «falsifié» les impressions du personnel de livraison. Tout d'abord, en tant que directeur, M. A a expliqué dans sa chronique des impressions avant le personnel de livraison les merveilles de l'entreprise de Watami et de son travail chez Watami. Ensuite, les livreurs qui rédigeront plus tard seront naturellement conscients de la «réponse modèle» du directeur et il sera difficile d'écrire des impressions négatives. Même ainsi, s'il y avait une partie de l'impression du livreur qui m'interrogeait, je l'ai souligné dans la section des commentaires et j'ai dit: "Partageons à nouveau la signification avec moi." Finalement, au cours de plusieurs mois, les textes négatifs ont disparu des commentaires du personnel de livraison, et du moins en apparence, les impressions de me louer sont devenues partout. Ce commentaire mensuel, qui répète la splendeur de Watami, a constamment influencé la «formation des idées». Cependant, ce qui a vraiment changé, ce n'est pas le livreur, mais M. A, le directeur. M. A, qui aurait dû oser continuer à «faire l'éloge» de Watami en raison de la nécessité de son travail, a progressivement loué les affaires et le travail de Watami sans condition, et il a dit qu'il avait vraiment pris conscience qu'il ne se sentirait pas insatisfait des problèmes de travail. En donnant à plusieurs reprises les impressions du personnel de livraison, la propre conscience de M. A a été «éduquée». Citons ici l'impression de la lettre vidéo que M. A a écrit pour montrer au personnel de livraison. C'est une impression que j'ai vu la vidéo des efforts de Watami pour les ODD et des efforts de Watami pour soutenir les écoles au Cambodge. <Watami a continué à travailler avant que le mot ODD ne soit largement connu dans la société. Je suis vraiment reconnaissant de travailler pour une telle entreprise. Il y a beaucoup de choses qui peuvent être utiles à la société à proximité immédiate de vous. Je m'efforcerai toujours avec courage et fierté avec un sourire> <J'irai de l'avant pour pouvoir avoir un sourire étincelant et M. Magokoro avec un sourire étincelant> <Note: les affaires de M. A C'est mon travail de faire briller le lieu. Je ferai de mon mieux !!> Merci pour vos éloges pour les affaires de Watami et pour votre collaboration. La quantité qui s'étend au-delà de l'espace et l'expression qui est inhabituellement édifiante. Si M. A à ce moment-là ne me «croyait» pas vraiment, il serait difficile d'écrire jusqu'à présent. M. A, qui est actuellement en congé en raison d'une maladie mentale, s'est retourné sur ses impressions et a marmonné. «C'est désagréable, lisez maintenant.» Lorsque les heures supplémentaires mensuelles dépassaient 150 heures, M. A pensait «je suis mauvais» à propos des longues heures de travail. J'étais responsable de la quantité excessive de travail, mais je l'ai accepté pour "l'éducation de la pensée" et j'ai commencé à me blâmer d'être lent. À ce moment-là, l'un des nouveaux livreurs était inquiet quand il a vu M. A travailler jusqu'à minuit et l'a fait remarquer sans détour. "Monsieur A, n'êtes-vous pas" cérébral "?" Au début, j'étais indigné par "Je suis une personne impolie", mais comme ce livreur me l'a fait remarquer à plusieurs reprises, "Je suis drôle. Je commençais à réfléchir. De plus, l'influence du conjoint affecté au travail seul était également importante car il était contraint de travailler à domicile par télétravail en raison de la maladie corona. Voyant M. A travailler sans fin à minuit et pendant les vacances, il l'a persuadé à plusieurs reprises de se réveiller. Finalement, M. A a décidé de rejoindre la société NPO POSSE, que je représente, et le syndicat des entreprises noires du syndicat individuel affilié, et d'accuser massivement les problèmes de travail de Watami. De cette façon, étant béni avec les gens autour de lui et rencontrant ses partisans, M. A a pu se débarrasser du «lavage de cerveau» de Watami et faire face aux problèmes de travail qu'il avait eu jusqu'à présent. M. A se sent maintenant coupable d'avoir été impliqué dans les problèmes de travail de Watami. "Si je fais une erreur, je pense que j'ai fait la même chose que mon patron." Afin de s'acquitter de sa responsabilité, M. A continuera d'accuser Watami. Photos de cet article (8)
J'ai l'impression d'avoir pu l'évaluer correctement!
C'est tout pour l'explication. Merci beaucoup d'avoir lu.