spark python dataframe에서 string형태의 json을 map(dict)형으로 변환하는 방법이 있나요?

조회수 636회
from pyspark.sql.functions import explode, col

data = device.select('data')
df = data.withColumn("dev_serial", col("data.dev_serial"))\
    .withColumn("dev_property", co("data.dev_property"))\
    .drop('data')
df.show()

위와같이 작성했을 때 나오는 데이터 프레임은 아래와 같습니다. 이미지

여기서 dev_property의 값들을 explode?해서 각 키 값을 컬럼명으로 오게하고 그에 맞게 value가 보이도록 데이터프레임을 형성하고 싶은데 dev_property의 값이 string이라 explode 명령어는 동작하지 않습니다. 해당 value를 map(dict)형으로 변환해서 explode 하는 방법이 있을까요?

  • from_json 으로 struct 타입으로 변환할 수 있습니다. 정영훈 2020.10.7 13:33
  • 해결 했습니다 감사합니다~! 김재민 2020.10.7 18:31

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)