python pyspark json 구조의 string또는 bytes를 dataframe으로 만드는 방법이 뭔가요?
조회수 419회
pyspark을 사용중입니다.
sqlContext.read.json("file:// [path]")
원래는 위의 코드처럼 저장 경로의 json file을 읽어다가 데이터프레임을 만들었는데
이제는
res = requests.get(url)
content = res.content
여기서 content 변수에 담긴 bytes 타입의 값을 바로 sqlContext등을 이용해서 데이터 프레임으로 만들고 싶습니다.
어떻게 하면 될까요????? 페럴라이즈를 통해 진행하니 속도가 너무 느리네요... 최대한 속도를 높이는 방향으로 도와주시면 감사하겠습니다.
댓글 입력