cloudflare 우회해서 크롤링 하기 - zenrows

보안을 위해 cloudflare 를 사용하는 페이지들이 있다. 

이런 페이지를 크롤링하려면 여러가지 난관들이 있는데 구글링을 열심히 한 결과 

한 가지 방법을 찾을 수 있었다. 

 1. https://www.zenrows.com/ 사이트에 가입 후 빌더에서 api key 를 생성한다

 2. 아래와 같이 소스에 api key를 사용해서 크롤링한다

import requests
from bs4 import BeautifulSoup as bs

url = 'SITE_URL'
apikey = 'API_KEY'
params = {
    'url': url,
    'apikey': apikey,
    'js_render': 'true',
    'premium_proxy': 'true',
}
response = requests.get('https://api.zenrows.com/v1/', params=params)

soup = bs(response.text, "html.parser")
temp = soup.find("div",id="content")

print(temp.text)