[RUBY] Scraping Twitter, um den ältesten Pien Tweet zu finden

スクリーンショット 2020-07-14 3.47.33.png

Wir haben twitterscraper-ruby gem erstellt, mit dem Sie Twitter kratzen können, um an Tweets vorbei zu kommen.

Mit diesem Twitter-Scraper-Ruby-Juwel können Sie leicht den "ältesten Tweet" oder "die erste Person, die ein Wort twittert" finden.

Ankündigung

Bitte wenden Sie sich an @ ts_3156, um Anfragen und Konsultationen zur Analyse mit SNS-Daten und zur Webentwicklung mit Ruby on Rails zu erhalten.

Warum jetzt kratzen?

Es gibt drei Möglichkeiten, um eine große Anzahl von Tweets zu erhalten: Twitter Search API (kostenlose Version), Twitter Search API (kostenpflichtige Version) und Twitter Scraping.

Twitter Search API (kostenlose Version)

Vielleicht verwenden 99% der Menschen auf der Welt diese Methode, um Tweets zu erhalten. Da es sich um eine von Twitter bereitgestellte API handelt, können Sie sie mit Sicherheit verwenden. Die Häufigkeit der Verwendung ist jedoch stark begrenzt. Der größte Nachteil besteht darin, dass Sie nur "Tweets in den letzten 7 Tagen" erhalten können. Aus diesem Grund können Sie nur "ein paar aktuelle Tweets erhalten".

Twitter Search API (kostenpflichtige Version)

Mit dieser API können Sie alle vergangenen Tweets nach "Millionen Yen pro Monat" durchsuchen. Es gibt eine Begrenzung für die Häufigkeit, mit der Sie es verwenden können, aber es ist eine relativ lockere Begrenzung, und Sie werden nicht belästigt, wenn Sie Tweets erhalten.

Twitter kratzen

Dies ist die Methode, die von Twitterscraper-Rubin Gem verwendet wird. Sie können eine große Anzahl von Tweets mit hoher Geschwindigkeit abrufen, ohne sich über die Nachteile der Twitter-Such-API wie die Anzahl der Verwendungen und den Zielzeitraum Gedanken machen zu müssen. Das Scraping ist jedoch ** eine Handlung, die in den Nutzungsbedingungen ausdrücklich verboten ist und auf eigenes Risiko ** erfolgen muss.

In diesem Artikel recherchieren wir auf eine Art und Weise, die auf Twitter so leicht wie möglich ist.

Finde heraus, wer als erster "Pien" twittert

Ich suchte nach der Person, die zuerst das beliebte "Pien" getwittert hat. Überraschenderweise hat es eine lange Geschichte und am 22. Mai 2008 fand ich eine Person, die es mit fast der gleichen Bedeutung wie das aktuelle Pien benutzte.

Klicken Sie hier, um die URL des ersten getwitterten "Pien" anzuzeigen

スクリーンショット 2020-07-14 3.15.52.png

Sie können den ersten "Pien" -Tweet erhalten, indem Sie nach der Installation von twitterscraper-ruby den folgenden Befehl ausführen.

$ twitterscraper --query 'Pien' --start_date 2008-03-21 --end_date 2009-03-21 --lang ja --limit 10 --proxy --threads 10

Klicken Sie hier, um die ursprüngliche Tweet-URL von Pienlo anzuzeigen

Übrigens, wenn es anders ist als das aktuelle Pien, wurde das älteste Pien am 24. Januar 2008 getwittert. Es gibt Lebensmittel wie Pienro (Pienro-Topf) und Pien-Brei (Yapienjo), und es war ein Tweet in diesem Sinne.

スクリーンショット 2020-07-14 3.24.35.png

Klicken Sie hier für die ursprüngliche Tweet-URL von Pien Porridge

スクリーンショット 2020-07-14 3.25.31.png

Finden Sie heraus, wer als erstes "Reiwa" als Jahr twittert

Ich denke, viele von Ihnen kennen diesen Prophezeiungs-Tweet, weil er im Frühjahr 2019 furchtbar online war.

"Reiwa" wurde erstmals als nächstes Jahr von Heisei am "13. Juli 2016" getwittert. Sie können diesen Tweet mit dem Edelstein twitterscraper leicht finden.

Klicken Sie hier, um die URL des Reiwa Prophecy Tweets anzuzeigen

令和予言ツイートのスクリーンショット

Führen Sie nach der Installation von twitterscraper-ruby den folgenden Befehl aus, um den Reiwa Prophecy Tweet zu erhalten.

$ twitterscraper --query 'Reiwa' --start_date 2016-07-13 --end_date 2016-07-14 --limit 10

Übrigens, wenn es "Rewa als Zeichenkette" anstelle von "Rewa als Jahr" ist, gibt es viele Leute, die früher getwittert haben. Es scheint, dass sie auf Chinesisch in der gleichen Reihenfolge sind.

Klicken Sie hier, um die URL des Tweets anzuzeigen, der zufällig als Reiwa geschrieben wurde

スクリーンショット 2020-07-14 1.52.52.png

Finden Sie den ältesten Tweet, den Sie bekommen können

Mit der offiziellen Twitter-Suche können Sie Tweets bis zum "21.03.2006" erhalten.

Als Test habe ich versucht, den ältesten Tweet zu bekommen. Als Ergebnis stellte sich heraus, dass das "Just Setup My Twttr" am 22. März 2006 der älteste Tweet war.

Klicken Sie hier, um die URL des ältesten Tweets anzuzeigen

スクリーンショット 2020-07-14 2.41.08.png

Sie können die ältesten Tweets erhalten, indem Sie nach der Installation von twitterscraper-ruby den folgenden Befehl ausführen.

twitterscraper --query 'just' --start_date 2006-03-21 --end_date 2006-03-22 --limit 10

Ankündigung

Bitte wenden Sie sich an @ ts_3156, um Anfragen und Konsultationen zur Analyse mit SNS-Daten und zur Webentwicklung mit Ruby on Rails zu erhalten.

Referenzlink

https://github.com/ts-3156/twitterscraper-ruby

Recommended Posts

Scraping Twitter, um den ältesten Pien Tweet zu finden
So finden Sie den durchschnittlichen Winkel
Wie man die Zehner und Einsen findet
So finden Sie die Gesamtpunktzahl und die Durchschnittspunktzahl