네이버지도로 지도 서비스 만들기 - 3탄

├── src
│   ├── list.csv
│   ├── naver_crawl.py
│
├── app.py
└── requirements.txt

# module import
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

def get_driver():
  options = webdriver.ChromeOptions()

  # 지정한 user-agent로 설정
  options.add_argument("user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6)
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664 Safari/537.36")

  # 크롬 화면 크기를 설정(but 반응형 사이트에서는 html요소가 달라질 수 있음)
  options.add_argument("window-size=1440x900")

  # 브라우저가 백그라운드에서 실행되며, 보통 로컬환경에서는 크롤링 진행과정을 보면서 개발하는게 좋기 때문에 주석처리합니다.
  options.add_argument("headless")

  # ChromeDriverManager를 통해 현재 OS에 설치된 크롬브라우저 버전을 다운로드하고, 설정한 옵션을 적용합니다.
  driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),options=options)

  # 네이버 지도로 이동
  driver.get('https://map.naver.com')

  # 네이버 지도로 이동될 때까지 기다리는 최대 시간(초 단위)
  driver.implicitly_wait(60)
  return driver

# @param driver: 생성했던 driver
# @param search_text: 검색할 키워드

def search_place(driver:WebDriver, search_text: str):
  # 검색창 element 선택
  search_input_box = driver.find_element_by_css_selector("div.input_box>input.input_search")

  # 선택한 검색창에 검색할 키워드 입력
  search_input_box.send_keys(search_text)

  # 엔터키 이벤트
  search_input_box.send_keys(Keys.ENTER)

  # 검색에 걸리는 시간보다 조금 더 넉넉하게 정지
  time.sleep(5)

# @param driver: 생성했던 driver

def next_page_move(driver:WebDriver):
  # 페이지네이션 영역에 마지막 버튼 element 선택
  next_page_btn = driver.find_element_by_css_selector('div._2ky45>a:last-child')

  # 선택한 element을 html로 파싱하여 문자열 텍스트 가져올 준비
  next_page_class_name = BeautifulSoup(next_page_btn.get_attribute('class'), "html.parser")

  # 현재 페이지가 마지막 페이지일때, class의 이름이 달라짐을 이용한 조건문
  if len(next_page_class_name.text) > 10:
    print("검색완료")

    # 웹 드라이버 종료
    driver.quit()
    return False
  else:
    # 다음페이지 이동버튼 클릭
    next_page_btn.send_keys(Keys.ENTER)
    return True

# @param driver: 생성했던 driver

def to_search_iframe(driver:WebDriver):
  driver.switch_to.default_content()
  driver.switch_to.frame('searchIframe')

# @param element: <class "str">
# @return str

def get_element_to_text(element):
  return BeautifulSoup(element, "html.parser").get_text()

# @param driver: 생성했던 driver
# @paramscroll_container: 검색결과 스크롤 영역
# @param file: 저장할 파일

def get_store_data(driver:WebDriver, scroll_container: WebElement, file: TextIOWrapper):

  # 검색결과 목록 li element들을 선택
  get_store_li = scroll_container.find_elements_by_css_selector('ul > li')

  # 현재 페이지에 존재하는 매장목록만큼 반복
  for index in range(len(get_store_li)):
    selectorArgument = 'div:nth-of-type(1) > a'
    wrapper_html = get_store_li[index].get_attribute('innerHTML')
    wrapper_soup = BeautifulSoup(wrapper_html, "html.parser")

    # 매장 항목 클릭
    get_store_li[index].find_element_by_css_selector(selectorArgument).click()

    # 매장 Iframe으로 이동
    driver.switch_to.default_content()
    driver.switch_to.frame('entryIframe')

    #로딩 시간 적용
    time.sleep(1)

    try:
      try:
        # 상세정보 페이지가 완전히 로딩될때까지 기다림
        WebDriverWait(driver,5).until(EC.presence_of_element_located((By.CLASS_NAME, "place_didmount")))
      except TimeoutException:
        to_search_iframe(driver)

      # 매장명 element 추출
      store_name = driver.find_element_by_css_selector('#_title > span:nth-child(1)').get_attribute('innerHTML')

      # 네이버 카테고리 element 추출
      if driver.find_element_by_css_selector('#_title > span._3ocDE').is_displayed():
        naver_category = driver.find_element_by_css_selector('#_title > span._3ocDE').get_attribute('innerHTML')
      else:
        naver_category = ''

      # 매장주소 element 추출
      address = driver.find_element_by_css_selector('.place_section_content > ul ._2yqUQ').get_attribute('innerHTML')

      # driver로 선택한 element를 텍스트로 변환
      store_name = get_element_to_text(store_name)
      address = get_element_to_text(address)
      naver_category = get_element_to_text(naver_category)

      # csv파일에 매장정보 저장
      file.write(store_name + "|" + address + "|" + naver_category + "\n")
      to_search_iframe(driver)
    except TimeoutException:
      to_search_iframe(driver)

def naver_crawl():
  # 매장정보를 저장할 파일 오픈
  list_file = open('src/list.csv','a',encoding='utf-8')

  # 웹 드라이버
  driver = get_driver()

  # 장소 검색
  search_place(driver,'연세대학교 맛집')

  # 검색결과 Iframe으로 이동
  to_search_iframe(driver)

  time.sleep(2)

  try:
    # 검색결과목록 스크롤 element 선택
    scroll_container = driver.find_element_by_id("_pcmap_list_scroll_container")
  except:
    print("스크롤 영역 감지 실패")

  try:
    while True:
      for i in range(6):
        # 스크롤을 내리는 자바스크립트 코드 실행
        driver.execute_script("arguments[0].scrollBy(0,2000)",scroll_container)
        time.sleep(0.5)

      # 매장정보 저장
      get_store_data(driver,scroll_container,list_file)

      # 다음페이지가 있는지 확인 여부
      is_continue = next_page_move(driver)
      if is_continue == False:
        break
  except:
    print("크롤링 과정 중 에러 발생")

store_name|address|naver_category
티아레나|서울 서대문구 연희맛로 43-2|홍차전문점
에스크투데이|서울 서대문구 연희로11가길 56 2층|카페,디저트
카멜로연남|서울 마포구 연희로1길 57 1.5층|양식
치플레|서울 마포구 동교로 262-9 1층|베이커리
공복식당|서울 서대문구 연세로12길 23 1층|돼지고기구이
정육면체|서울 서대문구 연세로5다길 22-8 1층 정육면체|아시아음식
카라멘야|서울 서대문구 연세로7안길 34-1 1층|일본식라면
앤티크커피|서울 마포구 연희로 25-1 1층 앤티크커피|카페,디저트