ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • selenium 웹 크롤링 하기
    IT/파이썬 2017.03.03 17:28
    ㄴfrom selenium import webdriver
    from bs4 import BeautifulSoup
    import urllib
    import urllib.request


    def main():

    browser = webdriver.Chrome('chromedriver.exe')

    # 웹페이지 로그인
    url = "http://웹주소" # 접속할 URL
    browser.get(url)
    username = browser.find_element_by_name('m_id') #
    username.send_keys('id') # 사용자 ID
    password = browser.find_element_by_name('password') #
    password.send_keys('password') # 사용자 PASSWORD
    form = browser.find_element_by_id('form') #
    form.submit() # submit

    soup = BeautifulSoup(browser.page_source, 'lxml')

    findCategory = soup.find_all("a", {"class": "ct-link"})

    countCate = 1

    for cateLink in findCategory


    productName = soup.find("strong", {"id": "_goodsnm"})

    내 컴퓨터도 상대측 서버도 부하가 많긴 하지만 Selenium 의 웹드라이버로 값을 가져와서 beautifulSoup 으로 간단하게 사이트 로그인해서 페이지 크롤링하기.

    댓글 1

    • 프로필사진

      안녕하세요. 파이썬으로 웹 크롤러를 만들어보려고 독학 중인 학생입니다.
      혹시 네이버 블로그도 크롤링을 해보셨나요?
      BeautifulSoup나 Selenium 다 이용해서 코드를 짜봐도 다른 사이트들은 잘 되는데,
      네이버 블로그만 잘 안되네요…
      혹시 문제 원인을 아시는지 해서 댓글 남겨봅니다.
      답변해 주시면 정말 감사하겠습니다.
      좋은 하루 보내세요.

      2017.06.23 16:29 신고
Designed by Tistory.

티스토리 툴바