파이썬에서 카카오쇼핑하기 사이트의 전체페이지를 가져오고싶은데 json으로 가져와야하는건 알겠는데 값이 불러와지지가 않아요.

조회수 1110회

https://store.kakao.com/search/result/product?q=%EC%83%B4%ED%91%B8 여기 사이트로 들어가서 F12눌르고 네트워크에서 주소 받아왔어요 https://store.kakao.com/a/search/products?timestamp=1628246554084&q=%EC%83%B4%ED%91%B8&sort=&td=&size=100&page=0&_=1628246554102

근데 여기서 네트워크에서 보면 data안에 contents/last/page/timestamp/totalCount 가 있는데

from selenium import webdriver
from selenium.webdriver.common.keys import Keys #키보드를 제어한다 
import time #시간관련 기능을 포함하는 라이브러리
from bs4 import BeautifulSoup #문서 끌어올때
import requests
import json
import pandas as pd

path = "../drive/chromedriver.exe"
driver = webdriver.Chrome(path)
driver.get("https://store.kakao.com/")
time.sleep(1)

search_box = driver.find_element_by_class_name("wrap_util") # 검색창 class
search_box.click() #마우스click 이벤트 발생 
search_box = driver.find_element_by_name("tfSearch") #검색어 입력박스
search_box.click() #마우스click 이벤트 발생 
search_box.send_keys("샴푸") #검색어
search_box.send_keys(Keys.RETURN) #검색창에 엔터키 신호를 보내서 검색을 하도록 한다
time.sleep(1) #1초 이상 시간을 기다린다

url="https://store.kakao.com/a/search/products?timestamp=1628246554084&q=%EC%83%B4%ED%91%B8&sort=&td=&size=100&page=0&_=1628246554102"
customer_header = {
    "referer":"https://store.kakao.com",
    "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
response = requests.get(url,headers=customer_header)
data = json.loads(response.content )
print(data)

이렇게 출력해보면 값이 data안에 contents값이 나오는것같아요..

print(data["totalCount"]) 이렇게 해도 안되고 print(data.get('totalCount')) 이렇게 해도 안되고

totalCount 값이 필요한데 진짜 이리저리 써봐도 안나와서 너무 답답해요.

1 답변

  • 좋아요

    0

    싫어요
    채택 취소하기

    print(data['data']['totalCount'])

    • 그렇게 해도 값이 안나오고 File "카카오쇼핑0806.py", line 43, in if response.status_code==200: AttributeError: 'str' object has no attribute 'status_code' 이런 에러가 떠요 ㅜㅜ 정소연 2021.8.7 12:53
    • 크롬 드라이버 새로 깔았더니 되네여... 맨날 안되서 진짜 몇시간 고민하다가 다시 깔면 되고, 안되면 몇일마다 한번씩 다시 깔면 되고.. 원래 이러기도 하나요?ㅜㅜ 정소연 2021.8.7 13:14
    • 당연히, 됐다 안됐다 그러지는 않습니다 ㅎㅎ 다만 추측컨데, webdriver 설치경로가 (새로 설치하신다고 하셨으니) 그때 그때 마다 바뀔 수가 있어서, 경로 설정에 따라 (혹은 webdriver 설치 위치에 따라) 됐다 안됐다 하는 것 처럼 보일 수도 있겠다는 생각이 드네요. 물론 다른 이유가 있을 수도 있겠습니다. whistler7899 2021.8.10 15:55

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)