편집 기록

편집 기록
  • 프로필 알 수 없는 사용자님의 편집
    날짜2019.09.24

    python requests로 크롤링 할 때 로딩 대기하는 방법이 있나요?


    url = 'www.url-test.co.kr'
    req = reuqests.get(url)
    json_load = json.loads(req.text)
    json_res = json_load['rest']
    .
    .
    .
    
    

    이런식으로 특정 사이트에서 requests를 사용하여 정보를 가져오고있습니다. 정확히 말하면 유료로 사용중인 api에서 정보를 가져오는건데 그쪽 서버가 느려서인지 제 인터넷이 느려서인지 api주소를 입력하고 접속하면 로딩 시간이 좀 걸리더라구요. 그래서 requests.get(url)을 한 후에 'test'라는 키값을 찾으면 로딩이 덜 되서 그런지 키값을 찾을 수 없다고 뜨더라구요. 그래서 requests하는 부분에 time.sleep(delay)를 적용해서 최대한 천천히 해보려는데 로딩 지연문제는 이걸로 해결하기가 힘든 거 같네요 셀레니움처럼 로딩 대기를 해서 데이터가 완전히 뿌려진 후에 리퀘스트 할 수 있는 방법이 있을까요?

  • 프로필 sdf7895님의 편집
    날짜2019.09.24

    python requests로 크롤링 할 때 로딩 대기하는 방법이 있나요?


    url = 'www.url-test.co.kr'
    req = reuqests.get(url)
    json_load = json.loads(req.text)
    json_res = json_load['rest']
    .
    .
    .
    
    

    이런식으로 특정 사이트에서 requests를 사용하여 정보를 가져오고있습니다. 정확히 말하면 유료로 사용중인 api에서 정보를 가져오는건데 그쪽 서버가 느려서인지 제 인터넷이 느려서인지 api주소를 입력하고 접속하면 로딩 시간이 좀 걸리더라구요. 그래서 requests.get(url)을 한 후에 'test'라는 키값을 찾으면 로딩이 덜 되서 그런지 키값을 찾을 수 없다고 뜨더라구요. 그래서 requests하는 부분에 time.sleep(delay)를 적용해서 최대한 천천히 해보려는데 로딩 지연문제는 이걸로 해결하기가 힘든 거 같네요 셀레니움처럼 로딩 대기를 해서 데이터가 완전히 뿌려진 후에 리퀘스트 할 수 있는 방법이 있을까요?

  • 프로필 김재민님의 편집
    날짜2019.09.24

    python requests로 크롤링 할 때 로딩 대기하는 방법이 있나요?


    url = 'www.url-test.co.kr'
    req = reuqests.get(url)
    json_load = json.loads(req.text)
    json_res = json_load['rest']
    .
    .
    .
    
    

    이런식으로 특정 사이트에서 requests를 사용하여 정보를 가져오고있습니다. 정확히 말하면 유료로 사용중인 api에서 정보를 가져오는건데 그쪽 서버가 느려서인지 제 인터넷이 느려서인지 api주소를 입력하고 접속하면 로딩 시간이 좀 걸리더라구요. 그래서 requests.get(url)을 한 후에 'test'라는 키값을 찾으면 로딩이 덜 되서 그런지 키값을 찾을 수 없다고 뜨더라구요. 그래서 requests하는 부분에 time.sleep(delay)를 적용해서 최대한 천천히 해보려는데 로딩 지연문제는 이걸로 해결하기가 힘든 거 같네요 셀레니움처럼 로딩 대기를 해서 데이터가 완전히 뿌려진 후에 리퀘스트 할 수 있는 방법이 있을까요?