웹 크롤링하려고 하는데, 일부 항목은 클로링이 되는데, 일부 항목이 클로링이 안됩니다. 원인을 모르겠습니다.

조회수 843회

페이지내 여러요소중 크롤링 안되는 항목이 있습니다. 어떻게 해야 클로링 할수 있나요?

클로링 되는 항목(2개) : addrs, a_earths

클로링 안되는 항목(1개) : points

맨 마지막에 있는 "points = soup.select('.addr_point')" 이 부분이 크롤링이 안되네요. (빨간색 점선 박스내) 원인을 모르겠습니다.

자문 부탁 드립니다.

import urllib.parse
from bs4 import BeautifulSoup
import re

url = 'http://www.dooinauction.com/auction/ca_list.php'

req = urllib.request.Request(url) #
html = urllib.request.urlopen(req).read()
soup = BeautifulSoup(html, 'html.parser') #beautifulsoup 분석

tots = soup.select('div.title_left font') #총 물건수 추출등
tot = int(re.findall('\d+', tots[0].text)[0]) #
print(f'물건건수 : {tot}건')

url = f'http://www.dooinauction.com/auction/ca_list.php?total_record={tot}&search_fm_off=1&search_fm_off=1&start=0'
html = urllib.request.urlopen(url).read()
soup = BeautifulSoup(html, 'html.parser') #beautifulsoup 분석

addrs = soup.select('.addr')  # 클로링 OK
a_earths = soup.select('.list_class.bold') #클로링 OK
points = soup.select('.addr_point') #클로링 NO ㅠ
print()

이미지

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)