편집 기록

편집 기록
  • 프로필 nowp님의 편집
    날짜2020.06.19

    python 용량이 큰 dataframe을 mssql에 빠르게 insert할 수 있는 방법이 뭔가요?


    python의 pandas로 데이터프레임을 만들고 mssql에 insert하려는데 데이터프레임이 평균적으로 25만 rows에 14컬럼으로 형성됩니다.

    sqlalchemy.create_engine으로 sql형태로 전체를 insert하는 방법을 해보니 로컬에서는 45분이 걸렸고, dataframe.iterrows()를 통해 반복문으로 cursor.execute() 한 라인씩 insert하니 이것 또한 오래걸려서 현재 실행중입니다..

    데이터프레임 가공하는 것에는 10초도 걸리지 않는데 어떻게해야 mssql에 빠르게 insert할 수 있을까요?

    json파일 중 가장 큰 용량 파일은 316,650KB입니다.

  • 프로필 김재민님의 편집
    날짜2020.06.19

    python 용량이 큰 dataframe을 mssql에 빠르게 isnert할 수 있는 방법이 뭔가요?


    python의 pandas로 데이터프레임을 만들고 mssql에 insert하려는데 데이터프레임이 평균적으로 25만 rows에 14컬럼으로 형성됩니다.

    sqlalchemy.create_engine으로 sql형태로 전체를 isnert하는 방법을 해보니 로컬에서는 45분이 걸렸고, dataframe.iterrows()를 통해 반복문으로 cursor.execute() 한 라인씩 insert하니 이것 또한 오래걸려서 현재 실행중입니다..

    데이터프레임 가공하는 것에는 10초도 걸리지 않는데 어떻게해야 mssql에 빠르게 insert할 수 있을까요?

    json파일 중 가장 큰 용량 파일은 316,650KB입니다.