편집 기록

프로필 nowp님의 편집

날짜2020.03.27

크롤링이 잘 안됩니다;

python

crawling

selenium

검색어 키워드를 통한 크롤링입니다.

요즘 다음이나 네이버가 크롤링 못하게 변했다고 해서
셀레니움을으로 해보려고 했는데요,
아래 코드를 실행하면 빈값이 나옵니다..
뭐가 잘못됐을까요?

from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import time

dict_keyword = {}

def daum():

    browser = webdriver.Chrome("C:/Users/eheee/Desktop/webdriver/chromedriver.exe")
    browser.get("https://www.naver.com")

    html = browser.page_source

    soup = BeautifulSoup(driver.page_source, "html.parser")


    search_word = soup.select("#sp_nws_all1 > dl > dt")
    for i in search_word:
        title = i.find("a").attrs['href']
        link = "https://www.daum.net" + i.find("a")["href"]
        dict_keyword[title.text] = title.get('href')

    #return dict_keyword
    print(dict_keyword)

프로필 편집요청빌런님의 편집

날짜2020.03.27

크롤링이 잘 안됩니다;

python

crawling

selenium

검색어 키워드를 통한 크롤링입니다.

요즘 다음이나 네이버가 크롤링 못하게 변했다고 해서
셀레니움을으로 해보려고 했는데요,
아래 코드를 실행하면 빈값이 나옵니다..
뭐가 잘못됐을까요;;

from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import time

dict_keyword = {}

def daum():

    browser = webdriver.Chrome("C:/Users/eheee/Desktop/webdriver/chromedriver.exe")
    browser.get("https://www.naver.com")

    html = browser.page_source

    soup = BeautifulSoup(driver.page_source, "html.parser")


    search_word = soup.select("#sp_nws_all1 > dl > dt")
    for i in search_word:
        title = i.find("a").attrs['href']
        link = "https://www.daum.net" + i.find("a")["href"]
        dict_keyword[title.text] = title.get('href')

    #return dict_keyword
    print(dict_keyword)

프로필 yubin cho님의 편집

날짜2020.03.27

크롤링이 잘 안됩니다;

python

crawling

selenium

검색어 키워드를 통한 크롤링입니다.

요즘 다음이나 네이버가 크롤링 못하게 변했다고 해서 셀레니움을으로 해보려고 했는데요, 아래 코드를 실행하면 빈값이 나옵니다.. 뭐가 잘못됐을까요;;

from selenium import webdriver import requests from bs4 import BeautifulSoup import time

dict_keyword = {}

def daum():

browser = webdriver.Chrome("C:/Users/eheee/Desktop/webdriver/chromedriver.exe")
browser.get("https://www.naver.com")

html = browser.page_source

soup = BeautifulSoup(driver.page_source, "html.parser")


search_word = soup.select("#sp_nws_all1 > dl > dt")
for i in search_word:
    title = i.find("a").attrs['href']
    link = "https://www.daum.net" + i.find("a")["href"]
    dict_keyword[title.text] = title.get('href')

#return dict_keyword
print(dict_keyword)
-------------------------------------------------------------------------------------------------------------------------------------------------