고정 URL 스크래핑 질문
조회수 626회
스크래핑 연습 중 막히는 부분이 생겨 질문드립니다. https://www.nasdaq.com/market-activity/stocks/screener 위의 나스닥 홈페이지에 가서 각 주식의 티커명과(Symbol) 회사명(Name)을 스크래핑하려고하는데 보시다시피 url이 고정입니다. 셀레니움으로 다음페이지버튼을 클릭하게 했는데도 계속 첫번째(1) 페이지만 스크래핑 되네요. 해법이 무엇인지 궁금합니다. 자바스크립트 쪽을 공부해야하나요?
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.common.keys import Keys
import time
nasduq_all=[] #티커+회사명리스트
nasduq_ticker=[] #티커리스트(홀수)
nasduq_company=[] #회사명리스트(짝수)
dict_nasduq={} #회사명+티커명 딕셔너리
page_url = 'https://www.nasdaq.com/market-activity/stocks/screener'
driver = webdriver.Chrome('/Users/kim/Desktop/dgaja/chromedriver')
driver.implicitly_wait(2)
driver.get(page_url)
time.sleep(1)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
#일단 다음페이지로 이동해서 가져오는 것만 시도중
driver.find_element_by_xpath("/html/body/div[2]/div/main/div[2]/article/div[3]/div[1]/div/div/div[3]/div[5]/button[2]").send_keys(Keys.ENTER)
time.sleep(10)
ticker = soup.find("tbody", {"nasdaq-screener__table-body"}).find_all('a')
for i in ticker: #덩어리에텍스트추출
name=i.text
nasduq_all.append(name)
print(nasduq_all)
-
(•́ ✖ •̀)
알 수 없는 사용자
댓글 입력