텍스트마이닝을 업로드하던 중 사전 진행필요한 절차가 많아 크롬드라이버 설치 및 konlpy등을 먼저 포스팅.
크롬드라이버는 crawling을 위해 필요한 프로그램으로 크롤링 시 추가적인 창을 띄워 정보들을 가져올 수 있음.
1. 크롬드라이버 다운로드 사이트 접속
https://chromedriver.chromium.org/downloads
Downloads - ChromeDriver - WebDriver for Chrome
WebDriver for Chrome
chromedriver.chromium.org
2. 본인 크롬 버전에 맞는 드라이버를 선택
* 본인 크롬 버전 보는법
크롬 접속 > 더보기 > 도움말 > Chrome 정보(G)
버전 확인 (79.0~)
3. 이후 본인 OS에 따라 zip 다운로드
4. 다운 후, 해당 파일(exe)을 python을 돌릴 directory 안에 업로드
5. 테스트 해보기
패키지 import시 selenium을 import한 후 아래 코드를 통해 새로운 창이 open 되는 것을 확인
# 패키지 import
import datetime as dt
import pandas as pd
import requests
import time
import urllib.request #
import re
import konlpy
from bs4 import BeautifulSoup
from pandas import DataFrame
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
#크롬드라이버 연결
delay=0.1
browser = Chrome()
browser.implicitly_wait(delay)
start_url = 'https://www.youtube.com/channel/UCtckgmUcpzqGnzcs7xEqMzQ/videos'
browser.get(start_url)
browser.maximize_window()
body = browser.find_element_by_tag_name('body')#스크롤하기 위해 소스 추출
num_of_pagedowns = 30
while num_of_pagedowns:
body.send_keys(Keys.PAGE_DOWN)
time.sleep(0.1)
num_of_pagedowns -= 1
*** jupyter notebook사용 시 powershell에서 사전에 pip을 통해 selenium을 다운해야함
끝~!!
'직장생활 > Programming (C, Python)' 카테고리의 다른 글
[Python] import / pip install opencv, cv2 설치 오류 및 해결 (0) | 2021.07.29 |
---|---|
[Colab] 구글 코랩(Google Colaboratory): Jupyter notebook보다 편한 python 개발 환경 (0) | 2021.07.29 |
[ML] Image Analysis Project - Object Detection (CNN, R-CNN, Fast R-CNN, Faster R-CNN, SSD) (0) | 2021.07.29 |
KoNLPy 설치 / 다운로드 (0) | 2021.07.06 |
[텍스트마이닝] 유튜브 영상 머신러닝으로 분석하기, 유튜브 동영상 크롤링 with python - 1 (0) | 2021.07.06 |