Création d'outils de grattage
C'est le premier message de Qiita. Je vous remercie.
Auto-introduction
31 ans ♂
Diplômé du Département des sciences de l'information d'une université nationale.
22 ans Rejoint un SIer indépendant. Résident dans une entreprise de vente en gros de produits alimentaires.
26 ans Transféré au service informatique d'une entreprise de vente en gros de produits alimentaires
Jusqu'à maintenant
Comment vouliez-vous apprendre Python
Transféré à la planification du service informatique d'une entreprise de vente en gros de produits alimentaires
J'ai fait une proposition pour introduire l'IA.
Cependant, les fournisseurs d'IA sont trop chers,
J'ai été renvoyé par le service utilisateur si ce n'était pas rentable.
C'était un complexe qui n'était qu'un développement hérité,
Je me suis demandé si je pouvais faire une proposition en intégrant moi-même l'apprentissage profond.
J'ai commencé à étudier Python.
J'ai commencé à étudier Python, j'ai appris le scraping,
Je pensais que c'était en demande, alors j'ai essayé d'en faire un outil.
À propos des outils de grattage
La société de vente en gros de produits alimentaires compte plus de 50 succursales et plus de 100 magasins, dont chacun a des clients différents, et il était impossible pour le service des systèmes d'information de tout gérer, chaque magasin a donc des connaissances informatiques et de la patience. Conçu pour être utilisable s'il y en a.
Méthode d'exécution
Distribuez le fichier de commandes au démarrage, et lorsque vous démarrez votre PC le matin, exécutez le programme Python à partir du fichier de commandes. Les informations de chaque client sont acquises, et s'il y a une différence avec le contenu d'acquisition précédent, l'URL et les nouvelles informations sont affichées dans une fenêtre contextuelle.
Structure du fichier
Saisissez un fichier csv simple pour pouvoir le créer vous-même. La sortie est également csv, ce qui facilite la comparaison avec l'acquisition précédente.
Contenu spécifié
1.URL
2. Classe d'objet d'acquisition (jusqu'à 3 peuvent être spécifiées)
3. Nom du fichier de sortie
Défis
1. Les éléments pour lesquels aucune classe n'est définie ne peuvent pas être pris
→ Si la classe n'est pas définie pour l'élément que vous souhaitez prendre, vous ne pouvez pas l'obtenir. J'ai également envisagé de prendre la pièce d'identité et le nom, mais ce serait déroutant, alors j'ai décidé de ne pas le faire. Pour une amélioration future
2. Je peux obtenir des articles supplémentaires autres que la cible
→ Comme elles ne sont pas utilisées comme données d'entrée, demandez-leur de supprimer les parties inutiles. Nous avons soutenu l'acquisition d'informations météorologiques, mais ce sera compliqué si elles sont généralisées, nous ne l'accepterons donc pas. Pour une amélioration future
3. Vous devez être conscient que vous ne violez pas les conditions d'utilisation et ne surchargez pas.
Et pour changer de travail
J'écris depuis longtemps jusqu'à présent, mais maintenant que j'ai acquis une technologie de développement Web et que je veux devenir ingénieur indépendant de l'entreprise, j'ai commencé à changer d'emploi. Utilisez cet outil de grattage comme portefeuille.
Il sera publié sur GitHub. Je vous serais très reconnaissant si vous pouviez me donner quelques conseils.
https://github.com/yamamasa2020/scraping-tool