python의 pandas로 데이터프레임을 만들고 mssql에 insert하려는데 데이터프레임이 평균적으로 25만 rows에 14컬럼으로 형성됩니다.
sqlalchemy.create_engine
으로 sql형태로 전체를 insert하는 방법을 해보니 로컬에서는 45분이 걸렸고,
dataframe.iterrows()
를 통해 반복문으로 cursor.execute() 한 라인씩 insert하니 이것 또한 오래걸려서 현재 실행중입니다..
데이터프레임 가공하는 것에는 10초도 걸리지 않는데 어떻게해야 mssql에 빠르게 insert할 수 있을까요?
json파일 중 가장 큰 용량 파일은 316,650KB입니다.