유튜브 실시간 채팅 파이썬으로 크롤링 못하나요?

조회수 616회

이미지

위의 사진 오른쪽 처럼 실시간채팅 다시보기를 크롤링할 수 없나요?

셀레니엄으로 유튜브 주소 들어간다음에, ㅇ충분히 시간을 두고서 채팅이 다시보이게끔 기다리고 나서 html_source = driver.page_source

전체페이지를 가져온다음에,

soup = BeautifulSoup(html_source , 'lxml')

beautifulSoup 으로 받아와서 print(soup) 했는데, 실시간 채팅다시보기까지는 나오는데, 그 아래 채팅들은 나오지 않습니다..

가져올 수 없는 구조인가요??

채팅말고 댓글들은 잘 나옵니다.

  • 됩니다만 구조를 잘 분석해보세요. 채팅창이 iframe 으로 되어 있고 계속 json 데이터를 폴링하여 보여주는 구조입니다. 폴링하는 주소를 찾아서 주기적으로 요청을 해서 json 데이터를 받아서 파싱해줘야 합니다. 정영훈 2020.1.11 17:34
  • 더 좋은 방법은 https://developers.google.com/youtube/v3/live/docs/liveChatMessages 를 이용하는 겁니다. api 를 제공해줍니다. 정영훈 2020.1.11 19:53

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.