spark에서 여러 테이블에 병렬로 overwrite 하는 방법
조회수 484회
spark에서 하나의 데이터프레임을 특정 DB 테이블에게 jdbc overwrite할 때 여러 테이블을 동시에 overwrite할 수 있나요?
a b c table_name
0 1 2 3 A
1 4 5 6 B
2 7 8 9 C
...
for table_name in ["A", "B", "C"]:
df.where(col("table_name") == table_name).write.option("truncate", "true").jdbc( "jdbc://~~~jdbc_url", table_name, mode="overwirte")
현재는 이렇게 반복문을 사용해서 같은 구조이지만 여러개의 테이블에 overwrite하고 있습니다. 혹시 해당 작업을 병렬로 처리할 수 있을까요?
댓글 입력