spark에서 여러 테이블에 병렬로 overwrite 하는 방법

조회수 34회

spark에서 하나의 데이터프레임을 특정 DB 테이블에게 jdbc overwrite할 때 여러 테이블을 동시에 overwrite할 수 있나요?

   a  b  c  table_name
0  1  2  3  A
1  4  5  6  B
2  7  8  9  C
...
for table_name in ["A", "B", "C"]:
    df.where(col("table_name") == table_name).write.option("truncate", "true").jdbc( "jdbc://~~~jdbc_url", table_name, mode="overwirte")

현재는 이렇게 반복문을 사용해서 같은 구조이지만 여러개의 테이블에 overwrite하고 있습니다. 혹시 해당 작업을 병렬로 처리할 수 있을까요?

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.