파이썬 크롤링을 연습하고 있는데, 다음과 같이 네이버 통합검색에서 section을 수집해보고 있습니다.
다음 코드로 검색하면 section이라는 단어가 9개가 나와야 할텐데 2개만 나옵니다. 어떻게 해결할 수 있을까요?
body > div > div > div > div > section 또는 #main_pack > section 경로를 사용해서 해결하고 싶습니다.
#main_pack > section 으로 입력하면 결과값이 6개가 나와야 할텐데 1개만 나옵니다..
import requests
import urllib.request
from bs4 import BeautifulSoup
url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90'
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
sections = soup.select('body > div > div > div > div > section')
for section in sections:
section = section.name
print (section)