Création d'outils de grattage

C'est le premier message de Qiita. Je vous remercie.

Auto-introduction 31 ans ♂ Diplômé du Département des sciences de l'information d'une université nationale. 22 ans Rejoint un SIer indépendant. Résident dans une entreprise de vente en gros de produits alimentaires. 26 ans Transféré au service informatique d'une entreprise de vente en gros de produits alimentaires Jusqu'à maintenant

Comment vouliez-vous apprendre Python Transféré à la planification du service informatique d'une entreprise de vente en gros de produits alimentaires J'ai fait une proposition pour introduire l'IA.

Cependant, les fournisseurs d'IA sont trop chers, J'ai été renvoyé par le service utilisateur si ce n'était pas rentable.

C'était un complexe qui n'était qu'un développement hérité, Je me suis demandé si je pouvais faire une proposition en intégrant moi-même l'apprentissage profond. J'ai commencé à étudier Python.

J'ai commencé à étudier Python, j'ai appris le scraping, Je pensais que c'était en demande, alors j'ai essayé d'en faire un outil.

À propos des outils de grattage La société de vente en gros de produits alimentaires compte plus de 50 succursales et plus de 100 magasins, dont chacun a des clients différents, et il était impossible pour le service des systèmes d'information de tout gérer, chaque magasin a donc des connaissances informatiques et de la patience. Conçu pour être utilisable s'il y en a.

Méthode d'exécution Distribuez le fichier de commandes au démarrage, et lorsque vous démarrez votre PC le matin, exécutez le programme Python à partir du fichier de commandes. Les informations de chaque client sont acquises, et s'il y a une différence avec le contenu d'acquisition précédent, l'URL et les nouvelles informations sont affichées dans une fenêtre contextuelle.

Structure du fichier Saisissez un fichier csv simple pour pouvoir le créer vous-même. La sortie est également csv, ce qui facilite la comparaison avec l'acquisition précédente.

Contenu spécifié 1.URL 2. Classe d'objet d'acquisition (jusqu'à 3 peuvent être spécifiées) 3. Nom du fichier de sortie

Défis 1. Les éléments pour lesquels aucune classe n'est définie ne peuvent pas être pris → Si la classe n'est pas définie pour l'élément que vous souhaitez prendre, vous ne pouvez pas l'obtenir. J'ai également envisagé de prendre la pièce d'identité et le nom, mais ce serait déroutant, alors j'ai décidé de ne pas le faire. Pour une amélioration future 2. Je peux obtenir des articles supplémentaires autres que la cible → Comme elles ne sont pas utilisées comme données d'entrée, demandez-leur de supprimer les parties inutiles. Nous avons soutenu l'acquisition d'informations météorologiques, mais ce sera compliqué si elles sont généralisées, nous ne l'accepterons donc pas. Pour une amélioration future 3. Vous devez être conscient que vous ne violez pas les conditions d'utilisation et ne surchargez pas.

Et pour changer de travail J'écris depuis longtemps jusqu'à présent, mais maintenant que j'ai acquis une technologie de développement Web et que je veux devenir ingénieur indépendant de l'entreprise, j'ai commencé à changer d'emploi. Utilisez cet outil de grattage comme portefeuille.

Il sera publié sur GitHub. Je vous serais très reconnaissant si vous pouviez me donner quelques conseils. https://github.com/yamamasa2020/scraping-tool

Recommended Posts

Création d'outils de grattage
[Python] Mémo de création de l'outil de grattage
Remarques sur la création d'outils de mise en forme de texte
Un outil pour créer des liens symboliques sous Windows
4. Création d'un programme structuré
Créer un chargeur de jeu de données
Problèmes lors de la création d'un outil de conversion csv-json avec python
[Python] Ce qu'un programmeur inexpérimenté a fait avant de créer un outil
Bloquer le disque RAM de l'appareil Créer un appareil
Créer une application Web avec Flask ②
Création d'un programme de fractionnement de fichiers wav
Étape par étape pour créer un Dockerfile
Créer un arbre déterminé avec scikit-learn
Créer un serveur Flask avec Docker
Créer une application Web pour la transcription vocale
Créer un tableau simple à l'aide de prettytable
Créer une application Web avec Flask ①
Précautions lors de la création d'un générateur Python
Créer un modèle d'apprentissage à l'aide de MNIST
Créer une application Web avec Flask ③
Lors de la création d'une matrice dans une liste
Outil pour convertir la configuration Juniper
Créer une application Web avec Flask ④
Grattage 1
[Python] Chapitre 03-01 graphiques de tortues (création d'une tortue)
Créer un fichier power simple avec Python
Commandes pour créer un nouveau projet django
Créer un écran de connexion dans Django all auth
Scraping de sites Web à l'aide de JavaScript en Python
Création d'une application d'analyse de données à l'aide de Streamlit
[Python] Création d'un graphique de tirage des actions
Essayez le scraping HTML avec la bibliothèque Python
Un outil pour saisir facilement du code Python
[Python] Gratter une table avec Beautiful Soup
J'ai créé un outil d'estampage automatique du navigateur.
Créer un script shell pour écrire un journal
Mémo sur Sphinx Partie 1 (Création d'un projet)
Créer une carte du choléra pour John Snow
Créer un environnement virtuel dans un environnement Anaconda
J'ai créé un outil de mot de passe en Python.
Créer un environnement de développement pour l'apprentissage automatique
Créer un outil de génération de documents Python car il est difficile d'utiliser sphinx