J'ai essayé OmniSci (anciennement MapD), qui est également un pionnier de la base de données SQL utilisant GPU, sur CentOS 7. J'ai utilisé un exemple de base de données appelé vols_2008_7M. Le GPU est le RTX 2080Ti 11 Go de PNY.
L'ordinateur de base utilise Core i5 7e génération, 16 Go de RAM DDR4, 2 To de SSD SATA cruciaux.
Comment installer OmniSci: https://docs.omnisci.com/v4.4.1/4_centos7-yum-gpu-ce-recipe.html C'est dedans.
Il contient 7 millions de données sur divers vols. Le cas où le modèle est un Boeing 777 ou 737 est extrait par l'instruction SQL.
Le code utilisé (Python 3) est:
omnisci-test.py
from pymapd import connect
import pandas as pd
import time
start = time.time()
con = connect(user="admin", password="PasswordHere", host="localhost", dbname="omnisci")
df = pd.read_sql("SELECT plane_model, uniquecarrier, deptime, arrtime from flights_2008_7M where plane_model like '777%' or plane_model like '737%' limit 1000", con)
print(df.to_string())
path = './omnisci-data.txt'
with open(path, 'w') as f:
print(df.to_string(), file=f)
end = time.time()
print("Time elapsed: " + str(end - start))
Je mesure le temps d'exécution de deux recherches de préfixe LIKE ou, mais il était de 0,324 seconde car il est également écrit sur SSD. Cela faisait 0,2803 seconde lorsque j'ai mesuré la partie non écrite sur le SSD.
Résultat de l'exécution:
...
985 737-7H4 WN 1029 1126
986 737-7H4 WN 1720 1817
987 737-5H4 WN 754 1154
988 737-3H4 WN 1408 1511
989 737-7H4 WN 2039 2141
990 737-76Q WN 622 813
991 737-5H4 WN 2125 2226
992 737-7H4 WN 2040 2156
993 737-3H4 WN 757 945
994 737-7H4 WN 641 739
995 737-3Q8 WN 1617 1903
996 737-3A4 WN 1304 1455
997 737-7H4 WN 737 843
998 737-7H4 WN 1952 42
999 737-5H4 WN 1729 1925
Time elapsed: 0.3249530792236328
J'ai essayé LIKE search comme un. (Boeing 777 uniquement)
partie df
df = pd.read_sql("SELECT plane_model, uniquecarrier, deptime, arrtime from flights_2008_7M where plane_model like '777%' limit 1000", con)
Le résultat ici était de 0,2931640148162842 secondes. (Avant d'écrire sur SSD)
L'écriture sur SSD était de 0,29114460945129395 secondes. Vous pouvez voir que la vitesse d'exécution ne change pas beaucoup avec seulement deux LIKE.
Tsubasa Kato PDG d'Inspire Search Co., Ltd.
Recommended Posts