크롤링이 잘 안됩니다;

조회수 692회

검색어 키워드를 통한 크롤링입니다.

요즘 다음이나 네이버가 크롤링 못하게 변했다고 해서
셀레니움을으로 해보려고 했는데요,
아래 코드를 실행하면 빈값이 나옵니다..
뭐가 잘못됐을까요?


from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import time

dict_keyword = {}

def daum():

    browser = webdriver.Chrome("C:/Users/eheee/Desktop/webdriver/chromedriver.exe")
    browser.get("https://www.naver.com")

    html = browser.page_source

    soup = BeautifulSoup(driver.page_source, "html.parser")


    search_word = soup.select("#sp_nws_all1 > dl > dt")
    for i in search_word:
        title = i.find("a").attrs['href']
        link = "https://www.daum.net" + i.find("a")["href"]
        dict_keyword[title.text] = title.get('href')

    #return dict_keyword
    print(dict_keyword)

2 답변

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)