크롤링이 잘 안됩니다;
조회수 692회
검색어 키워드를 통한 크롤링입니다.
요즘 다음이나 네이버가 크롤링 못하게 변했다고 해서
셀레니움을으로 해보려고 했는데요,
아래 코드를 실행하면 빈값이 나옵니다..
뭐가 잘못됐을까요?
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import time
dict_keyword = {}
def daum():
browser = webdriver.Chrome("C:/Users/eheee/Desktop/webdriver/chromedriver.exe")
browser.get("https://www.naver.com")
html = browser.page_source
soup = BeautifulSoup(driver.page_source, "html.parser")
search_word = soup.select("#sp_nws_all1 > dl > dt")
for i in search_word:
title = i.find("a").attrs['href']
link = "https://www.daum.net" + i.find("a")["href"]
dict_keyword[title.text] = title.get('href')
#return dict_keyword
print(dict_keyword)
댓글 입력