고정 url 여러페이지 크롤링하는 방법?
조회수 5126회
크롤링을 연습 중인데 위와 같이 여러 페이지의 리뷰를 수집하려고합니다.
1페이지는 크롤링을 겨우겨우 성공했는데 그 다음 페이지부터는
다음페이지로 넘어가도 url이 바뀌지 않아서 크롤링에 어려움을 겪고 있습니다
from bs4 import BeautifulSoup
from selenium import webdriver
from time import *
driver = webdriver.Chrome()
driver.get('https://sokoglam.com/collections/soko-glam-best-of-beauty-awards/products/hanskin-cleansing-oil-blackhead-pha')
for a in range(9):
html = driver.page_source
soup = BeautifulSoup(html,'html.parser')
r = soup.select('.yotpo-review-wrapper')
for i in r:
print(i.select_one('.content-review').text)
sleep(3)
다음페이지로 넘어가도 url이 바뀌지않아서 웹드라이브를 통해 한페이지 크롤링 후 sleep(3)에서 재빨리 다음페이지를 눌러서 수동으로 크롤링 중입니다
다음페이지로 넘어가도 url이 바뀌지않을때 여러페이지 크롤링하려면 어떻게 해야하나요?
-
(•́ ✖ •̀)
알 수 없는 사용자
1 답변
-
아래주소에서
yoReviewsPage
값만 변경해서 요청하면 됩니다.- 다음페이지로 넘어가도 주소가 그대로였는데 실제로는 주소가 변경되는 건가요? 만약 그렇다면 변경된 주소를 어떻게 알수있나요? 알 수 없는 사용자 2020.1.30 08:40
- 그 부분은 html, javascript 의 코드를 보고 파악하는 것이라 http, javascript 를 학습하셔야 할 것 같습니다. 정영훈 2020.1.30 10:52
- 다양한걸 하려면 결국은 javascript 를 배워야하는군요😥답변 감사합니다! 알 수 없는 사용자 2020.1.30 11:24
댓글 입력