편집 기록

api url중에 브라우저 주소 검색창에 url만 입력하고 요청하면 바로 다운로드 폴더에 json파일이 저장 되는 주소가 있습니다. 그런데 python의 requests로 해당 플로우를 구현하려니까.

response = requests.get(url, stream=true)
 content = response.content
with open('/testDir/test.json',  'wb') as file:
    file.write(content)

대충 이런식으로 url에 get으로 요청해서 해당 api의 content를 추출해서 지정한 경로에 컨텐츠를 다시 작성하여 저장하는 방식밖에 검색이 안 되더라구요.

그런데 제가 호출하려는 파일의 양이 100MB 정도 되는 json의 로우 수가 100만개 정도 되는 데이터입니다. 그래서 해당 방법으로는 쉽게 http client connect error가 발생하곤합니다. 혹시 실제로 동작하는 것처럼 요청만해서 바로 원하는 경로에 파일을 저장하도록 하는 방법은 없을까요?

api url중에 브라우저 주소 검색창에 url만 입력하고 요청하면 바로 다운로드 폴더에 json파일이 저장 되는 주소가 있습니다. 그런데 python의 requests로 해당 플로우를 구현하려니까.

response = requests.get(url, stream=true)
 content = response.content
with open('/testDir/test.json',  'wb') as file:
    file.write(content)

대충 이런식으로 url에 get으로 요청해서 해당 api의 content를 추춘해서 지정한 경로에 컨텐츠를 다시 작성하여 저장하는 방식밖에 검색이 안 되더라구요.

그런데 제가 호출하려는 파일의 양이 100MB 정도 되는 json의 로우 수가 100만개 정도 되는 데이터입니다. 그래서 해당 방법으로는 쉽게 http client connect error가 발생하곤합니다. 혹시 실제로 동작하는 것처럼 요청만해서 바로 원하는 경로에 파일을 저장하도록 하는 방법은 없을까요?