pyspark jdbc write 에서 예외처리 하는 방법이 뭔가요?
조회수 431회
%spark.pyspark
# Spark
import os, sys
import json, datetime
import pyodbc
from pyspark import SparkConf, SparkContext, SQLContext
from pyspark.sql.functions import *
from pyspark.sql import *
from pyspark.sql.types import *
from py4j.protocol import Py4JJavaError
... 생략...
df_plc.createOrReplaceTempView("TEST")
q = '''
SELECT
*
FROM TEST
'''
data = sqlContext.sql(q)
jdbc_url = f"jdbc:sqlserver://{host};databaseName={db};user={user_name};password={password}"
data.write.jdbc(jdbc_url, f"{schema_name}.{table_name}", mode="append")
여기서 data.write.jdbc() 를 실행해서 append할 경우 pk에 걸리면 정상적으로 error가 발생하고 insert 되지 않습니다.
그런데 이 부분을 try, except를 통해 예외처리하고싶은데 제대로 작동하지를 않네요... 혹시 해당 부분에 예외처리 하는 방법이 있을까요?
댓글 입력