고정 url 여러페이지 크롤링하는 방법?

조회수 5128회

이미지

크롤링을 연습 중인데 위와 같이 여러 페이지의 리뷰를 수집하려고합니다.

1페이지는 크롤링을 겨우겨우 성공했는데 그 다음 페이지부터는

다음페이지로 넘어가도 url이 바뀌지 않아서 크롤링에 어려움을 겪고 있습니다

from bs4 import BeautifulSoup
from selenium import webdriver
from time import *

driver = webdriver.Chrome()
driver.get('https://sokoglam.com/collections/soko-glam-best-of-beauty-awards/products/hanskin-cleansing-oil-blackhead-pha')

for a in range(9):
    html = driver.page_source
    soup = BeautifulSoup(html,'html.parser')
    r = soup.select('.yotpo-review-wrapper')
    for i in r:
        print(i.select_one('.content-review').text)
    sleep(3)

다음페이지로 넘어가도 url이 바뀌지않아서 웹드라이브를 통해 한페이지 크롤링 후 sleep(3)에서 재빨리 다음페이지를 눌러서 수동으로 크롤링 중입니다

다음페이지로 넘어가도 url이 바뀌지않을때 여러페이지 크롤링하려면 어떻게 해야하나요?

  • (•́ ✖ •̀)
    알 수 없는 사용자

1 답변

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)