[sqlite] cx.read_sql, pd.read_sql 속도비교

pandas로 sqlite3 파일에서 300백만개 정도 되는 row의 데이터를 읽어올 일이 있었다. 하지만 이건 속도가 너무 느리다.

connectorx와 비교해보자.

 

1. 사용법 비교

(1) pandas

import sqlite3
import pandas as pd

local_file_path = "/absolute/path/to/sqlite3/db"

conn = sqlite3.connect(local_file_path)

to_read = pd.read_sql(
    "SELECT * FROM '{tbl_name}'".format(tbl_name=tbl_name),
    conn, parse_dates=['timestamp']
)

 

(2) connectorx

import connectorx as cx

local_file_path = "/absolute/path/to/sqlite3/db"

to_read = cx.read_sql(
    "sqlite://" + local_file_path,
    "SELECT * FROM '{tbl_name}'".format(tbl_name=tbl_name)

)

 

 

2. 시간비교

3백만여개 row 기준으로 읽어오는 속도를 비교해보면 다음과 같이 아주 차이가 많이 난다. 

• pandas: 2분 5초
• connectorx: 19초