웹 스크래핑 독학 중인,, 초렙이 질문합니다 '-',,
조회수 839회
네이버웹툰 만화 -> 신혼일기 -> 15화 제목을 가져와 보려고 하기와 같이 코드를 작성했습니다만
주피터 노트북에서 run 했을 때 [ ] 라고만 나옵니다 ㅠㅠ 어떻게 해야 할까요??
import requests from bs4 import BeautifulSoup as bs
url = "https://comic.naver.com/webtoon/list?titleId=812354" rsp = requests.get(url, verify=False) rsp.raise_for_status()
soup = bs(rsp.text, "lxml")
print(soup.find_all("span", attrs={"class": "EpisodeListList__title--lfIzU"}))
1 답변
-
저도 BeautifulSoup로 해도 안되길래 인터넷 검색해서 동적 웹 스크래핑 <= 이 블로그 참조해서 Selenium으로 사용해서 해봤습니다..
# 웹 브라우저와 연동을 위해 from selenium import webdriver # Chrome 객체의 인자로 넣기 위해 from selenium.webdriver.chrome.service import Service # 사용중인 Chrome version과의 싱크를 맞추기 위해 from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by import By # Selenium을 활용하여 조작하기 위해서 driver 객체 생성 # 해당 명령을 통해 웹 브라우저를 실행하고 파이썬과 연동할 수 있음 with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver: # .get(url)을 활용해 요청을 보낼 수 있음 driver.get("https://comic.naver.com/webtoon/list?titleId=812354") # 최대 10초까지 기다리는데, 중간에 응답이 오면 다음 명령어를 수행 driver.implicitly_wait(10) print(driver.find_element(By.XPATH, '//*[@id="content"]/div[3]/ul/li[5]/a/div[2]/p/span').text)
댓글 입력