고정 URL 스크래핑 질문

조회수 626회

스크래핑 연습 중 막히는 부분이 생겨 질문드립니다. https://www.nasdaq.com/market-activity/stocks/screener 위의 나스닥 홈페이지에 가서 각 주식의 티커명과(Symbol) 회사명(Name)을 스크래핑하려고하는데 보시다시피 url이 고정입니다. 셀레니움으로 다음페이지버튼을 클릭하게 했는데도 계속 첫번째(1) 페이지만 스크래핑 되네요. 해법이 무엇인지 궁금합니다. 자바스크립트 쪽을 공부해야하나요?

from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.common.keys import Keys
import time

nasduq_all=[] #티커+회사명리스트
nasduq_ticker=[] #티커리스트(홀수)
nasduq_company=[] #회사명리스트(짝수)
dict_nasduq={} #회사명+티커명 딕셔너리

page_url = 'https://www.nasdaq.com/market-activity/stocks/screener'
driver = webdriver.Chrome('/Users/kim/Desktop/dgaja/chromedriver')
driver.implicitly_wait(2)
driver.get(page_url)
time.sleep(1)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

#일단 다음페이지로 이동해서 가져오는 것만 시도중
driver.find_element_by_xpath("/html/body/div[2]/div/main/div[2]/article/div[3]/div[1]/div/div/div[3]/div[5]/button[2]").send_keys(Keys.ENTER)
time.sleep(10)
ticker = soup.find("tbody", {"nasdaq-screener__table-body"}).find_all('a')
for i in ticker: #덩어리에텍스트추출
    name=i.text
    nasduq_all.append(name)
print(nasduq_all)
  • (•́ ✖ •̀)
    알 수 없는 사용자
  • 페이지 이동하고 새롭게 page_source 를 호출해야하지 않을까요 김호원 2021.3.3 12:46

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)