python 또는 pyspark에서 대용량 requests 하는 방법이 있나요?
조회수 496회
pyspark으로 데이터 분석을 하고 있습니다.
데이터를 불러오는 구간은
python으로 http:xx/api 에 requests로 해당 content를 읽고 file로 저장 시킵니다..
그런데 api에서 넘어오는 데이터가 500mb이상일 때 매우 속도가 느립니다.
읽은 후 json 파일로 저장시키기까지 속도를 최대한 낼 수 있는 방법이 있을까요?
댓글 입력