python pyspark json 구조의 string또는 bytes를 dataframe으로 만드는 방법이 뭔가요?

조회수 419회

pyspark을 사용중입니다.

sqlContext.read.json("file:// [path]")

원래는 위의 코드처럼 저장 경로의 json file을 읽어다가 데이터프레임을 만들었는데

이제는

res = requests.get(url)
content = res.content

여기서 content 변수에 담긴 bytes 타입의 값을 바로 sqlContext등을 이용해서 데이터 프레임으로 만들고 싶습니다.

어떻게 하면 될까요????? 페럴라이즈를 통해 진행하니 속도가 너무 느리네요... 최대한 속도를 높이는 방향으로 도와주시면 감사하겠습니다.

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)