spark에서 mssql(sql server) 연결시 jdbc driver 오류 발생했을 때...
조회수 605회
ubuntu 18.04.4LTS python 3.6.9 spark 2.4.6
환경에서 pyspark으로 spark.read.format("")... 같은 명령어를 사용해 jdbc호출 후 mssql에 연결할 때는 따로 jdbc driver에 관해 설정하지 않았음에도 불구하고 connection 문제 없이 잘 사용했습니다.
현재는
ubuntu 16.04.4LTS
python 3.5.2
spark 2.4.6
환경에서 같은 문법으로 접근중인데 다음 사진처럼 에러가 발생하네요...
혹시 몰라서 mssql-jdbc-8.2.2.jre8.jar 파일을 다운로드 해놓긴했는데 그래도 안 되네요...전에 쓰던 버전이랑 무슨 차이가 있어서 이러는걸까요?
1 답변
-
spark 는 jvm 에서 동작합니다. spark 관련 트러블슈팅을 하려면 자바를 어느정도 알고 있어야 합니다.
상기의 오류는 jvm에서 해당 클래스를 찾을때 classpath 에서 필요한 클래스를 찾게 되는데 classpath 목록에서 찾지 못해서 발생하는 오류입니다.
spark shell 에서 아래와 같이 테스트하여 jdbc 드라이버 jar 파일이 있는지 확인하시고 없으면 추가하시기 바랍니다.
System.getProperty("java.class.path").split(":").foreach(println)
댓글 입력