python 2.7 requests를 이용한 크롤링에서 동적 데이터 읽어오는 방법이 어떻게 되나요?

조회수 71회
url = "https://www.whoscored.com/Players/11119/Show/Lionel-Messi"
res = requests.get(url, headers=headers, proxies=proxies)
page_parser = bs4(res.content, "html.parser")

이런식으로 후스코어드의 메시의 평점을 가져오는 연습을 해보려고 했습니다. 해당 사이트에서 메시의 평점이 기록 되어있는 테이블 부분이 동적 데이터여서 그냥 page_parser변수를 출력해보았을 때는 평점 기록이 있는 table,tr,td 태그가 없이 겉에 있는 div태그만 나오더라구요

ajax로 넘어오는 거 같아서 해당 파일을 개발자도구를 열어서 찾아봤는데 network에서 제가 못찾는건지 모르겠지만 아무리 찾아도 없네요...

질문 1) 해당 사이트의 평점 자료가 ajax인지 단순 자바스크립트로 움직이는 건지 빠르게 파악하는 방법은 무엇인가요?

질문 2) 해당 사이트의 평점 정보를 크롤하려면 어떻게 접근해야하나요? 단 selenium은 쓰지 않구요! (selenium은 이미 완료했으나 requests를 이용하여 하고싶습니다!)

1 답변

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.