안된다고 하는 것은 동적으로 데이터를 받아와서 클라이언트측에서 수행하기 때문입니다.

import re
import requests
from bs4 import BeautifulSoup

url = 'http://www.dooinauction.com/auction/ca_list.php' #경매분야

html = requests.get(url).content
soup = BeautifulSoup(html, 'html.parser')
tots = soup.select('div.pagn a')

results = [re.findall(r'total_record=([0-9]+)', link['href'])[0] for link in tots]

print(results)

['14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568',
 '14568']

문제는 공매인데...아래의 링크를 이용해야 합니다 xml을 얻을 수 있으므로 파싱하여 사용하면 됩니다.

http://www.dooinauction.com/xml/pubauct_list.php?pdNo=&pdStatus=1&sdate=&edate=&g_sprice=0&g_eprice=0&ctgr1=0&ctgr2=0&l_sprice=0&l_eprice=0&sido=0&gugun=0&dong=0&ref_page=&ref_sido=&ref_gugun=&ref_dong=&decrease=0&order_type=0&list_scale=20&page_scale=10&start=0&total_record=0

import re
import requests
from bs4 import BeautifulSoup

url = 'http://www.dooinauction.com/xml/pubauct_list.php?pdNo=&pdStatus=1&sdate=&edate=&g_sprice=0&g_eprice=0&ctgr1=0&ctgr2=0&l_sprice=0&l_eprice=0&sido=0&gugun=0&dong=0&ref_page=&ref_sido=&ref_gugun=&ref_dong=&decrease=0&order_type=0&list_scale=20&page_scale=10&start=0&total_record=0' #공매분야

html = requests.get(url).content
soup = BeautifulSoup(html, 'lxml-xml')

print(soup.find('total_record').text)
2153

1 페이지는 start 가 0

2 페이지는 start 가 20

3 페이지 start 가 40

충분히 이해하셨으리라 생각합니다.

• 3페이지 예

http://www.dooinauction.com/xml/pubauct_list.php?pdNo=&pdStatus=1&sdate=&edate=&g_sprice=0&g_eprice=0&ctgr1=0&ctgr2=0&l_sprice=0&l_eprice=0&sido=0&gugun=0&dong=0&ref_page=&ref_sido=&ref_gugun=&ref_dong=&decrease=0&order_type=0&list_scale=20&page_scale=10&start=40&total_record=2153