spark python sql write jdbc할 때 schema 자동 생성 및 PK 구성하는 방법이 있나요?
조회수 383회
q = """select
,srv_name
,srv_serial
,groups_id
,item_id
,count(srv_serial) as recv_count
,now() as ins_time
from vms_status group by srv_name, srv_serial, groups_id, item_id, item_param
order by srv_serial, groups_id, item_id"""
sqlDf = sqlContext.sql(q)
sqlDf.show()
sqlDf.write.jdbc(jdbc_url, table_name, mode="append")
spark에서 데이터 정제 후 마지막에 데이터프레임을 write jdbc로 MSSQL에 INSERT시켜줍니다. table_name 의 형태는 schemaName.tableName입니다.
그런데 schemaName이 DB의 스키마 명으로 이미 등록 되어 있는 상태가 아니라면 스키마 명이 없다는 에러가 나옵니다.
write할 때 스키마 명이 없으면 자동으로 생성해주는 방법이 있을까요? 또한 해당 쿼리 및 write 했을 때 원하는 컬럼을 PK 설정해줄 수 있는 방법이 있을까요?
댓글 입력