selenium 이라는 라이브러리를 간단한 예제를 통해 사용해보았다.
requests 와 bs4 를 사용해서 할 때에는 태그로만 가져와서 출력하는 거였다면
selenium 을 사용하면 해당 페이지로 이동해서 클릭해서 동작할 수 있게 해준다.
뿐 만 아니라 아이디와 패스워드까지 입력해서 로그인을 할 수 있도록 도와준다.
1. selenium 설치
pip install selenium2. selenium 사용해보기
from selenium import webdriver
# 크롬 웹 드라이버를 통해서 해당 사이트를 실행한다.
# 크롬 드라이버의 위치를 가져온다. 현재 크롬의 버전과 같은 드라이버를 가져와야한다.
chromedriver = '/usr/local/bin/chromedriver'
driver = webdriver.Chrome(chromedriver)
# google play store url
get_url = "https://play.google.com/store/search?q=게임&c=apps"
# 크롤링할 사이트를 호출한다.
# 실행하게 되면 크롬으로 해당 사이트를 호출한다.
driver.get(get_url)크롭 웹 드라이버를 통해서 해당 url 을 크롬 브라우저에서 실행시킨다.
3. 실행 시 크롬 브라우저에서 url 을 통해 사이트가 열리는지 확인
제대로 해보지 않아서 간단한 것만 해봤지만 더 공부해야 할 것 같다.
생각보다 간단하지 않다는 점...?ㅎㅋ 그런데 재미있다 ㅎㅋ
<참고 사이트>
beomi.github.io/gb-crawling/posts/2017-02-27-HowToMakeWebCrawler-With-Selenium.html
Selenium으로 무적 크롤러 만들기 · GitBook
Selenium은 주로 웹앱을 테스트하는데 이용하는 프레임워크다. webdriver라는 API를 통해 운영체제에 설치된 Chrome등의 브라우저를 제어하게 된다. 브라우저를 직접 동작시킨다는 것은 JavaScript를 이용
beomi.github.io
www.fun-coding.org/crawl_advance3.html
웹크롤링 심화: Selenium 과 PhantomJS를 활용한 크롤링 이해 및 실습 - 잔재미코딩
사전준비 (Selenium 설치) 1. Selenium 인스톨: pip install selenium 2. 웹드라이버 인스톨: 웹 테스트 자동화를 위해 제공되는 툴(각 browser및 os 별로 존재) - selenium - 테스트 코드를 사용하여 브라우져에서의
www.fun-coding.org
<문과의 파이썬> 셀레니움(selenium)-(1)
셀레니움 설치하고 스타벅스 매장 정보 가져오기 | requests와 bs4로만 웹 스크래핑을 하시다 보면 처음에는 거침없이 다 가져오는 모습에 만족하시겠지만 이내 문제에 직면하게 됩니다. 분명 브라
brunch.co.kr
'프로그래밍 언어 > Python' 카테고리의 다른 글
| Jupyter notebook - 500 : Internal Server Error (0) | 2022.12.25 |
|---|---|
| 파이썬 print() 함수 줄바꿈 없이 출력 (0) | 2022.12.19 |
| Python 더하기, 빼기, 곱하기, 몫과 나머지 계산 (0) | 2022.10.29 |
| 파이썬(Python) Jupyter notebook 설치 (MacBook) (0) | 2020.12.03 |
| 파이썬 크롤링 공부 - requests, beautifulsoup4 라이브러리 (0) | 2020.07.31 |