본문 바로가기
728x90

파이썬49

한번에 여러개 문자열 치환기 - 파이썬 한번에 하나씩 치환하는 것이 아닌 지정된 모든 문자열을 한번에​치환해 주는 함수이다. ​replacements 에 치환을 원하는 문자들을 정리해주고 함수를 호출하면​한번에 치환해서 반환해준다.​ import re def mreplace(text, replacements):    def rmatch(match): return replacements[match.group(0).lower()]        regex = re.compile("|".join(map(re.escape, replacements.keys())), re.IGNORECASE)    return regex.sub(rmatch, text) #치환 문자열 replacements = {    "[메일]": "[Mail]",    "[속보]": .. 2024. 7. 18.
UnicodeEncodeError: 'cp949' codec can't encode character '\u2013' 파일에 텍스트 값을 입력하는데 해당 오류가 발생했습니다. ​오류 원인은 한국어 환경에서의 인코딩은 'cp949'로 지정이 된 경우가 많은데,​유니코드('utf-8') 등 다른 인코딩 방법으로 인코딩된 파일을 다루는 경우,​인코딩 버전 불일치로 인하여 해당 에러가 발생할 수 있습니다.​해결방법으로는​encoding 방법을 명시적으로 지정해주시면 해결이됩니다. ​ . with open(fileName, "a", encoding='utf-8') as file: 2024. 7. 16.
cloudflare 우회해서 크롤링 하기 - zenrows 보안을 위해 cloudflare 를 사용하는 페이지들이 있다.  이런 페이지를 크롤링하려면 여러가지 난관들이 있는데 구글링을 열심히 한 결과  한 가지 방법을 찾을 수 있었다.   1. https://www.zenrows.com/ 사이트에 가입 후 빌더에서 api key 를 생성한다  2. 아래와 같이 소스에 api key를 사용해서 크롤링한다 import requests from bs4 import BeautifulSoup as bs url = 'SITE_URL' apikey = 'API_KEY' params = {     'url': url,     'apikey': apikey,     'js_render': 'true',     'premium_proxy': 'true', } response = .. 2024. 7. 15.
for문 사용법 - 파이썬 * 모델이 있는 for문 for object in object_list:    print(object.title) * 모델이 없는 for문 for i in range(1,11): #1~10까지 출력    print(i) 2024. 7. 8.
다른 파일에 있는 함수 사용하기 - 파이썬 파이썬에서 다른 파일에 있는 함수를 사용하려면 import를 사용하면 된다. ​만약 test.py 에 있는 testfunc 를 사용하려면​import test ​test.testfunc()​이렇게 사용하면 된다. import 뒤에 as 를 사용하여 별칭을 붙일 수도 있다​ . import test as tt​위와 같이 import 하는건 같은 폴더에 존재하는 파일을 import 하는 것이고 ​만약 다른 폴더에 있는 파일을 import 하고 싶으면 ​ . from folder_name import test as tt​이렇게 써주면 된다. 2024. 7. 3.
네이버 뉴스 댓글 가져오기 - 파이썬, 크롤링 파이썬, selenium 을 사용하여 네이버 기사의 댓글을 가져오는 소스이다.​1. 네이버 기사 페이지 오픈2. 댓글 더보기 클릭3. 클린봇 해제 (모든 댓글을 볼 수 있도록 설정)4. 마지막 댓글이 나올때까지 더보기 클릭5. 기사제목, 시간, 성비, 연령대 추출5. 댓글 추출​from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerimport time​url = "https://news.naver.com/main/read.naver?mo.. 2024. 7. 3.