반응형

텍스트마이닝을 업로드하던 중 사전 진행필요한 절차가 많아 크롬드라이버 설치 및 konlpy등을 먼저 포스팅.

크롬드라이버는 crawling을 위해 필요한 프로그램으로 크롤링 시 추가적인 창을 띄워 정보들을 가져올 수 있음.

1. 크롬드라이버 다운로드 사이트 접속

https://chromedriver.chromium.org/downloads

 

Downloads - ChromeDriver - WebDriver for Chrome

WebDriver for Chrome

chromedriver.chromium.org

2. 본인 크롬 버전에 맞는 드라이버를 선택

* 본인 크롬 버전 보는법

크롬 접속 > 더보기 > 도움말 > Chrome 정보(G)

버전 확인 (79.0~)

3. 이후 본인 OS에 따라 zip 다운로드

4. 다운 후, 해당 파일(exe)을 python을 돌릴 directory 안에 업로드

5. 테스트 해보기

패키지 import시 selenium을 import한 후 아래 코드를 통해 새로운 창이 open 되는 것을 확인

# 패키지 import

import datetime as dt

import pandas as pd

import requests

import time

import urllib.request #

import re

import konlpy

from bs4 import BeautifulSoup

from pandas import DataFrame

from selenium.webdriver import Chrome

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.common.keys import Keys

#크롬드라이버 연결

delay=0.1

browser = Chrome()

browser.implicitly_wait(delay)

start_url = 'https://www.youtube.com/channel/UCtckgmUcpzqGnzcs7xEqMzQ/videos'

browser.get(start_url)

browser.maximize_window()

body = browser.find_element_by_tag_name('body')#스크롤하기 위해 소스 추출

num_of_pagedowns = 30

#스크롤다운

while num_of_pagedowns:

body.send_keys(Keys.PAGE_DOWN)

time.sleep(0.1)

num_of_pagedowns -= 1

 

*** jupyter notebook사용 시 powershell에서 사전에 pip을 통해 selenium을 다운해야함

끝~!!

반응형

+ Recent posts