728x90 selenium9 selenium 사용하기 - 파이썬 from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport subprocessfrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Bysubprocess.Popen(r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\chromeCookie"')o.. 2024. 7. 18. cloudflare 우회해서 크롤링 하기 - selenium, 파이썬 이전 글에서 zenrows 를 이용해 cloudflare 를 우회해서 크롤링하는 소스를 올렸는데테스트를 하다보니 잘되는데 프리 이용횟수를 초과하니 막혀버려서 다른 방법을 찾게 되었다. 아래 방법은 selenium 을 이용하는 방법으로 물론 무료이다. 원래 selenium 을 이용할 경우 cloudflare가 bot 으로 인식해서 크롤링이 막히는데해당 방법은 bot 으로 인식하지 않도록 처리했다. 몇일 테스트를 해봤는데 문제없이 잘 돌아간다. from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport subprocessfrom webdriver_manager.chrome import Chrome.. 2024. 7. 18. 네이버 뉴스 댓글 가져오기 - 파이썬, 크롤링 파이썬, selenium 을 사용하여 네이버 기사의 댓글을 가져오는 소스이다.1. 네이버 기사 페이지 오픈2. 댓글 더보기 클릭3. 클린봇 해제 (모든 댓글을 볼 수 있도록 설정)4. 마지막 댓글이 나올때까지 더보기 클릭5. 기사제목, 시간, 성비, 연령대 추출5. 댓글 추출from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerimport timeurl = "https://news.naver.com/main/read.naver?mo.. 2024. 7. 3. kakao tv 재생수 가져오기 - 파이썬, 크롤링 재생수 875,745업로드 날짜 : 자세히위의 재생수가 나오는 부분을 찾아 재생수 숫자만 가져온다from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManager#크롬창을 띄우지 않고 실행하기options = webdriver.ChromeOptions()options.add_argument('headless')options.add_argument('window-size=1920x1080')options.add_argument("disable-.. 2024. 7. 3. 네이버tv 라이브 동접자 가져오기 - 파이썬 , 크롤링 selenium 을 사용하여 네이버tv 라이브의 동접자 수를 가져오는 방법이다. from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManageroptions = webdriver.ChromeOptions()options.add_argument('headless')options.add_argument('window-size=1920x1080')options.add_argument("disable-gpu")driver = webdriver.Chr.. 2024. 7. 3. selenium 크롬창 띄우지 않고 크롤링하기 - 파이썬 옵션을 주지 않고 실행하면 크롬창이 하나 출력되고 크롤링이 된다. 이 새로운 창을 띄우지 않고 실행하는 방법이다. from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManageroptions = webdriver.ChromeOptions()options.add_argument('headless')options.add_argument('window-size=1920x1080')options.add_argument("disable-gpu")dr.. 2024. 7. 2. 이전 1 2 다음 반응형
