//*[@id="latest-items"]/div/ul/li[1]/div[2]/a/span[2]

`li [1]` fait référence au premier `<li class =" clearfix "> ... </ li>` , donc si vous ne spécifiez pas cet ordre, tous Vous pouvez spécifier <li class = "clearfix">… </ li>. Autrement dit, XPath est

//*[@id="latest-items"]/div/ul/li/div[2]/a/span[2]

Fais juste. Je vais vraiment l'essayer.

In [5]: response.xpath('//*[@id="latest-items"]/div/ul/li/div[2]/a/span[2]/text()').extract()
Out[5]:
['Les ingénieurs ne peuvent pas rentrer chez eux le vendredi premium',
 'Si vous ne pouvez pas battre la machine, devenez une machine!',
 'Les données dans le cloud peuvent disparaître!',
 'Quel est le nombre étonnamment élevé de motifs sans papier?',
 'Malheureusement les points communs des ingénieurs masculins impopulaires',
 'Ce que vous devez faire lorsque vous remettez en question le travail de programmation avancé',
 'Le Nouvel An 2017 a duré une seconde de plus que d'habitude',
 'La dernière situation du calendrier de l'avent de l'ingénieur',
 'Il y a des "ennemis inattendus" dans le cloud Amazon',
 'Quand le système Mizuho Bank sera-t-il terminé?',
 'Vous souvenez-vous du nostalgique "Konami Command"?',
 '"DV" a une signification différente dans la zone ingénieur',
 'Incroyable évolution du jeu au cours des 40 dernières années',
 '"Pièges" cachés dans la longue programmation de la nuit d'automne',
 'Les anciens ingénieurs Sony sont populaires au travail']

J'ai tous les titres. Si vous comparez le HTML et XPath ci-dessus, la balise de titre```…Il semble que vous puissiez simplement spécifier directement, mais cette page est

 <div id = "ranking-items" style = "display: none;"> <! - Par ordre de popularité->
  <div class="article-list ranking category">
    <ul class="ranked business">
      <li class="clearfix">
       ...
 <div id = "latest-items"> <! - Dernière commande->
  <div class="article-list">
    <ul class="business">
      <li class="clearfix">

La structure est presque la même que la dernière commande sous l'ordre de popularité, donc si vous ne faites pas attention, des données supplémentaires seront mélangées. Quand je l'essaye,

In [6]: response.xpath('//span[@class="column-main-ttl"]/text()').extract()
Out[6]:
 ['Les ingénieurs ne jouent pas avec Pokemon GO! ',
 "Quand le système de la Mizuho Bank sera-t-il achevé?",
 `` Tristesse commune d'ingénieurs masculins impopulaires '',
 `` Les ingénieurs ne peuvent pas rentrer chez eux le vendredi premium '',
 «Des étudiants qui ne connaissent plus les ordinateurs de bureau! ',
 «Pourquoi les anciens ingénieurs de Sony sont populaires au travail»,
 «Les données du cloud peuvent disparaître! ',
 "Pourquoi je n'envie pas Yahoo 3 jours par semaine",
 "La mémoire du premier ordinateur que j'ai acheté est vivante",
 «Quel est le langage de programmation le plus rentable»,
 "Qui est attiré par" Famicom Mini "?",
 «La programmation est devenue une leçon très populaire! ',
 "Les voitures autonomes" ne fonctionnent pas automatiquement ",
 "La vérité sur les mêmes vêtements des filles ingénieur et sur les soupçons",
 "Les nouveaux employés apprendront les bases en" créant des minutes "",
 `` Les ingénieurs ne peuvent pas rentrer chez eux le vendredi premium '',
 «Si vous ne pouvez pas battre la machine, devenez une machine! ',
 «Les données du cloud peuvent disparaître! ',
 «Quel est le nombre étonnamment élevé de motifs sans papier? ',
 `` Tristesse commune d'ingénieurs masculins impopulaires '',
 «Ce que vous devez faire lorsque vous remettez en question le travail de programmation avancé»,
 `` Le jour de l'an 2017 a duré une seconde de plus que d'habitude '',
 'La dernière situation du calendrier de l'avent de l'ingénieur',
 "Il y a des" ennemis inattendus "dans le cloud Amazon",
 "Quand le système de la Mizuho Bank sera-t-il achevé?",
 "Vous souvenez-vous du nostalgique" Konami Command "?",
 "Dans la zone ingénieur," DV "a une signification différente",
 'Incroyable évolution du jeu au cours des 40 dernières années',
 "Les" pièges "cachés dans les longues soirées d'automne",
 «Pourquoi les anciens ingénieurs Sony sont-ils populaires au travail»]

Les mêmes données que celles prises deux fois. Autrement dit, XPath doit pointer uniquement vers les données dont il a besoin.

##Extraire le lien L'URL du lien vers la page du manga se trouve dans le titre du HTML.<span>Balise parent<a>Il est écrit dans le href de. Le XPath pointant vers ceci ressemble à ceci:

//*[@id="latest-items"]/div/ul/li/div[2]/a/@href

Dernier@hrefFait référence à l'attribut href de la balise a. Cette fois, je veux extraire la valeur d'attribut de la balise a au lieu du nœud de texte de l'enfant de la balise a, donc je fais comme ci-dessus. Quand tu bouges ça

In [7]: response.xpath('//*[@id="latest-items"]/div/ul/li/div[2]/a/@href').extract()
Out[7]:
['/articles/-/161892',
 '/articles/-/159846',
 '/articles/-/157777',
 '/articles/-/153378',
 '/articles/-/153367',
 '/articles/-/152301',
 '/articles/-/152167',
 '/articles/-/149922',
 '/articles/-/149911',
 '/articles/-/146637',
 '/articles/-/146559',
 '/articles/-/144778',
 '/articles/-/144756',
 '/articles/-/142415',
 '/articles/-/142342']

Ce sera. Maintenant que vous avez un XPath pour obtenir le titre et le lien de chaque dessin animé, vous pouvez récupérer les informations nécessaires en créant un programme de grattage basé sur cela.

##Exporter les données acquises Si vous ne grattez qu'une seule fois, vous pouvez générer les données requises telles quelles. Tout d'abord, enregistrez les données récupérées dans une variable, puis exportez-les dans un fichier.

In [8]: titles = response.xpath('//*[@id="latest-items"]/div/ul/li/div[2]/a/span[2]/text()').extract()

In [9]: links = response.xpath('//*[@id="latest-items"]/div/ul/li/div[2]/a/@href').extract()

In [10]: f = open('bohebohe.txt', 'w')

In [11]: for title, link in zip(titles, links):
    ...:     f.write(title + ', ' + link + '\n')

In [12]: f.close()

avec çabohebohe.txtLe résultat du grattage a été écrit dans le fichier.

$ cat bohebohe.txt
 Les ingénieurs ne peuvent pas rentrer chez eux le vendredi premium, / articles / - / 161892
 Si vous ne pouvez pas battre la machine, devenez une machine! , / articles / - / 159846
 Les données dans le cloud peuvent disparaître! , / articles / - / 157777
 Quel est le nombre étonnamment élevé de motifs sans papier? , / articles / - / 153378
 Malheureusement les points communs des ingénieurs masculins impopulaires, / articles / - / 1533767
 Ce que vous devez faire pour vous attaquer au travail de programmation avancée, / articles / - / 152301
 La nouvelle année 2017 a duré une seconde de plus que d'habitude, / articles / - / 152167
 Dernières circonstances du calendrier de l'Avent de l'ingénieur, / articles / - / 149922
 Il y a des "ennemis inattendus" dans le cloud Amazon, / articles / - / 149911
 Quand le système Mizuho Bank sera-t-il terminé, / articles / - / 146637
 Vous souvenez-vous du nostalgique "Konami Command", / articles / - / 146559
 "DV" a une signification différente dans la communauté des ingénieurs, / articles / - / 144778
 Incroyable évolution du jeu au cours des 40 dernières années, / articles / - / 144756
 "Pièges" dans la longue programmation de la nuit d'automne, / articles / - / 142415
 L'ancien ingénieur Sony est populaire au travail, / articles / - / 142342

#en conclusion

C'est un peu compliqué de déboguer un XPath qui spécifie des données lors de la création d'un programme, et parfois c'est un gaspillage d'écrire un programme pour quelque chose que vous n'utilisez qu'une seule fois. Dans un tel cas, le scrapy shell, qui vous permet d'expérimenter de manière interactive et d'exécuter le script python tel quel, est assez pratique, et il est utile pour diverses expériences telles que vouloir simplement extraire un peu de données de la page créée dans le passé.

#Bonus XPath Je vais expliquer brièvement le XPath utilisé dans cet article. Comme exemple de HTML

 1: <div id="latest-items">
 2:  <div class="article-list">
 3:    <ul class="business">
 4:      <li class="clearfix">
 5:        <div class="ttl">
 6:          <a href="/articles/-/161892" class="link-box">
 7: <span class = "column-ttl"> Incorporé comme temps de travail </ span> <br>
 8: <span class = "column-main-ttl"> Les ingénieurs ne peuvent pas rentrer chez eux le vendredi Premium </ span>
 9: <span class = "date"> 12 mars 2017 </ span>
11:          </a>
12:        </div>
13:      </li>
14:    </ul>
15:  </div>
16:</div>

Est utilisé.