spark python dataframe에서 string형태의 json을 map(dict)형으로 변환하는 방법이 있나요?
조회수 636회
from pyspark.sql.functions import explode, col
data = device.select('data')
df = data.withColumn("dev_serial", col("data.dev_serial"))\
.withColumn("dev_property", co("data.dev_property"))\
.drop('data')
df.show()
위와같이 작성했을 때 나오는 데이터 프레임은 아래와 같습니다.
여기서 dev_property의 값들을 explode?해서 각 키 값을 컬럼명으로 오게하고 그에 맞게 value가 보이도록 데이터프레임을 형성하고 싶은데 dev_property의 값이 string이라 explode 명령어는 동작하지 않습니다. 해당 value를 map(dict)형으로 변환해서 explode 하는 방법이 있을까요?
댓글 입력