숨겨진 데이터를 데이터프레임형식으로 가져오는 방법이 없을까요?

조회수 409회

안녕하세요 파이썬 초보입니다.

제가 웹페이지에서 데이터를 가져오려하는데,

하필이면 필요한 자료가 숨겨진 계정형식으로 되어 있습니다.

우선 코드를 올리도록 하겠습니다.

from urllib.request import urlopen
import pandas as pd
import requests
from bs4 import BeautifulSoup
from datetime import datetime

fs_rpt_url = "http://comp.fnguide.com/SVO2/ASP/SVD_Finance.asp?pGB=1&gicode=A005930&cID=&MenuYn=Y&ReportGB=&NewMenuID=103&stkGb=701"
fs_rpt_res = requests.get(fs_rpt_url)
fs_rpt_df = pd.read_html(fs_rpt_res.text)
print(fs_rpt_df)

위 코드를 실행하면 데이터프레임 형식으로 데이터가 나옵니다.

거기서 네번째 행에

'판매비와관리비계산에 참여한 계정 펼치기'

라고 나오는 부분이 있는데요,

실제로 웹페이지에 접속해서 찾아보면 옆에 +버튼이 있어서

그걸 눌러야 자세한 내용이 나옵니다.

저는 그 자료가 필요하거든요.

얼마 전에 같은 질문을 드렸더니 자료를 추출하는 방법을 올려주신 분이 계셔서

그걸 참고해서 인터넷 검색까지 해서 표를 만들기는 했는데요, 너무 번거로워서요.

혹시 데이터프레임이나 리스트 형식이나 뭐든 좋으니 바로 뽑는 방법이 있을까요?

답변주시면 감사하겠습니다.

1 답변

  • 그런 경우 beautifulsoup 말고 selenium과 webdriver를 이용해서 동적으로 데이터를 가져오셔야 합니다.

    • (•́ ✖ •̀)
      알 수 없는 사용자

답변을 하려면 로그인이 필요합니다.

프로그래머스 커뮤니티는 개발자들을 위한 Q&A 서비스입니다. 로그인해야 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)