python 또는 pyspark에서 대용량 requests 하는 방법이 있나요?

조회수 496회

pyspark으로 데이터 분석을 하고 있습니다.

데이터를 불러오는 구간은

python으로 http:xx/api 에 requests로 해당 content를 읽고 file로 저장 시킵니다..

그런데 api에서 넘어오는 데이터가 500mb이상일 때 매우 속도가 느립니다.

읽은 후 json 파일로 저장시키기까지 속도를 최대한 낼 수 있는 방법이 있을까요?

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)