편집 기록

편집 기록
  • 프로필 알 수 없는 사용자님의 편집
    날짜2019.09.24

    파이썬(python) selenium(셀레니움) 크롤 block 당했을 때


    from selenium import webdriver
    from bs4 import BeautifulSoup
    import requests
    
    chrome_options = webdriver.ChromeOptions()
    # chrome_options.add_argument('headless') # 페이지 이동을 보고싶어서 임의적으로 주석처리했습니다
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36')
    chrome_options.add_argument("lang=ko_KR")
    driver = webdriver.Chrome('/Applications/chromedriver',chrome_options=chrome_options)
    
    driver.get("https://www.whoscored.com/")
    

    우선 후스코어드라는 사이트에서 필요한 정보가 있어서 크롤 중이였는데 블락을 당해버렸네요...

    사이트 오픈 에러 메세지는

    www.whosocred.com = Access Denied
    Error code 15
    This request was blocked by the security rules
    날짜 ~~
    Your IP xxxxxxxxxxxxxx \ Proxy IP xxxxxxxxxxxxxxxxx
    Incident ID: ~~~~~~~~~~~~~~~~~~~
    powered by imperva
    

    이런식으로 떴습니다....이렇게 블락 당했을 때는 어떻게 다시 크롤 시도해야되나요?

  • 프로필 김재민님의 편집
    날짜2019.07.16

    파이썬(python) selenium(셀레니움) 크롤 block 당했을 때


    from selenium import webdriver
    from bs4 import BeautifulSoup
    import requests
    
    chrome_options = webdriver.ChromeOptions()
    # chrome_options.add_argument('headless') # 페이지 이동을 보고싶어서 임의적으로 주석처리했습니다
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36')
    chrome_options.add_argument("lang=ko_KR")
    driver = webdriver.Chrome('/Applications/chromedriver',chrome_options=chrome_options)
    
    driver.get("https://www.whoscored.com/")
    

    우선 후스코어드라는 사이트에서 필요한 정보가 있어서 크롤 중이였는데 블락을 당해버렸네요...

    사이트 오픈 에러 메세지는 www.whosocred.com = Access Denied Error code 15 This request was blocked by the security rules 날짜 ~~ Your IP xxxxxxxxxxxxxx \ Proxy IP xxxxxxxxxxxxxxxxx Incident ID: ~~~~~~~~~~~~~~~~~~~ powered by imperva

    이런식으로 떴습니다....이렇게 블락 당했을 때는 어떻게 다시 크롤 시도해야되나요?