728x90 cloudflare우회1 cloudflare 우회해서 크롤링 하기 - selenium, 파이썬 이전 글에서 zenrows 를 이용해 cloudflare 를 우회해서 크롤링하는 소스를 올렸는데테스트를 하다보니 잘되는데 프리 이용횟수를 초과하니 막혀버려서 다른 방법을 찾게 되었다. 아래 방법은 selenium 을 이용하는 방법으로 물론 무료이다. 원래 selenium 을 이용할 경우 cloudflare가 bot 으로 인식해서 크롤링이 막히는데해당 방법은 bot 으로 인식하지 않도록 처리했다. 몇일 테스트를 해봤는데 문제없이 잘 돌아간다. from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport subprocessfrom webdriver_manager.chrome import Chrome.. 2024. 7. 18. 이전 1 다음 반응형
