개발/(5) Selenium

Selenium(셀레니움) 기본 1

생각외로깔끔함 2023. 3. 9. 00:28
728x90
반응형

 

Selenium(셀레니움)

 

 

 

Selenium(셀레니움)이란?

  • 원래 용도는 웹 테스트 자동화 프레임워크
  • 웹드라이버를 사용하면 크롤링이 훨씬 수월
  • 이미 페이지가 렌더링 된 상태에서 원하는 페이지의 html 파일을 수집 가능

 

Selenium(셀레니움) 설치

  • pip install selenium = 셀레니움 모듈 설치(말그대로 모듈 설치)
  • pip install bs4 = BeautifulSoup4 모듈 설치(html을 파싱해 올 때 사용)
  • bs4도 같이 설치 필요

 

Selenium(셀레니움) 크롬 웹드라이버 설치

  • 가장 많이 사용하는 크롬 웹드라이버를 사용하여 작동

  • 위 사진에서 Chrome 정보를 클릭하여 본인 크롬 버전을 확인
  • 구글에서 "크롬 웹드라이버" 검색하고 크롬 웹드라이버 대표 사이트에 접속
 

ChromeDriver - WebDriver for Chrome - Downloads

Current Releases If you are using Chrome version 111, please download ChromeDriver 111.0.5563.64 If you are using Chrome version 110, please download ChromeDriver 110.0.5481.77 If you are using Chrome version 109, please download ChromeDriver 109.0.5414.74

chromedriver.chromium.org

  • 본인 버전과 일치하는 크롬 웹드라이버 다운로드
  • 이후 받은 파일 압축을 풀고 크롤링을 사용할 python 파일과 같은 경로에 저장

 

Selenium(셀레니움) 불러오기

 

selenium의 기본 작동을 불러오기 가능
변수를 사용하여 웹드라이버를 설정

 

 

 

 

출처 : https://devyurim.github.io/python/crawler/2018/08/11/crawler-1.html

 

Python Selenium(셀레니움) 시작하기 | devYurim

연구실에서 갑자기 논문들에 대한 impactfactor 수집기를 만들게 되었다. 파이썬 웹크롤러를 만들 수 있는 아주 기본적인 패키지는 requests와 BeautifulSoup4 라는 패키지인데 사이트마다 request 방식이 ge

devyurim.github.io

728x90
반응형