728x90 우회1 cloudflare 우회해서 크롤링 하기 - zenrows 보안을 위해 cloudflare 를 사용하는 페이지들이 있다. 이런 페이지를 크롤링하려면 여러가지 난관들이 있는데 구글링을 열심히 한 결과 한 가지 방법을 찾을 수 있었다. 1. https://www.zenrows.com/ 사이트에 가입 후 빌더에서 api key 를 생성한다 2. 아래와 같이 소스에 api key를 사용해서 크롤링한다 import requests from bs4 import BeautifulSoup as bs url = 'SITE_URL' apikey = 'API_KEY' params = { 'url': url, 'apikey': apikey, 'js_render': 'true', 'premium_proxy': 'true', } response = .. 2024. 7. 15. 이전 1 다음 반응형
