네이버 지도 셀레니움으로 크롤링 해보기

https://www.youtube.com/watch?v=ElOAGrXZicQ

나는 원래 셀레니움으로 크롤링 하는 것을 좋아한다 그래서 2년전에도 인스타그램을 셀레니움을 통해서

팔로우 봇을 만들었고 3000명까지 팔로우를 늘렸었다.

그 후로는 셀레니움을 다시 사용할 일은 없다고 생각했는데

이번에 같은 대학교 팀원들과 새로운 프로젝트를 진행하게 되면서

네이버 지도에 있는 음식점 데이터를 가져와야 하기 때문에 다시 만져보게 되었다.

 

만약 지금 이 글을 보고 있는 당신이 셀레니움 초보라면 아주 좋다.

내가 차근차근 처음부터 어떻게 사용하면 중급 코스까지 사용할 수 있을지 아주 쉽게 설명을 해주겠다

 

일단 네이버 지도를 켜두고 어떤 데이터를 크롤링 할지 미리 생각하고 정리를 해야 한다.

나 같은경우에는 주로 캡쳐를 해두고 밑에 처럼 한눈에 보기 쉽도록 그려두는 작업을 한다.

 

1. 가게 이름
2. 카테 고리
3. 평점
4. 방문자 리뷰 / 블로그 리뷰
5. 영업 시간
6. 영업 시간

나는 이렇게 가져오기로 결정했다.

내가 만드는 프로젝트가 대학교 근처내에 있는 음식점을 랜덤하게 추천해서 간략하게 보여주는 앱이기에 필요한 데이터만 간추렸다.

 

자! 이제 가져와야하는 데이터는 알았으니 이제 크롤링을 시작해보자!

 

---

 

근데 네이버 지도에 재밌는점이 가게 목록이 나오는 List 부분이 iframe으로 만들어져 있다.

그래서 그냥 xpath로 냅다 때려박으면 noSuchElement 오류가 시원하게 나온다.

개발자 모드로 확인해봤을때 iframe으로 감싸져 있음

오잉? 그러면 어떻게 하지? 라고 생각이 든다면 방법은 간단하다

그냥 driver가 가리키는 frame을 스위치 하면 끝이다.

def switch_left():
    ############## iframe으로 왼쪽 포커스 맞추기 ##############
    driver.switch_to.parent_frame()
    iframe = driver.find_element(By.XPATH,'//*[@id="searchIframe"]')
    driver.switch_to.frame(iframe)
    
def switch_right():
    ############## iframe으로 오른쪽 포커스 맞추기 ##############
    driver.switch_to.parent_frame()
    iframe = driver.find_element(By.XPATH,'//*[@id="entryIframe"]')
    driver.switch_to.frame(iframe)

나 같은 경우는 스위칭할 일이 많을 것 같아서 이렇게 2개의 함수를 만들어서 바로바로 사용하도록 만들어 놨다.

왜 2개가 필요하냐면 가게를 눌렀을때 오른쪽에 가게에 대한 상세 정보가 나오는데 이 부분도 iframe으로 감싸져있기에

크롤링을 할때 두개를 전환해 가면서 크롤링을 해야 한다.

 

오케이! 일단 크롤링하면서 알아둬야할 주의사항은 확인했으니 본격적으로 내가 작성한 코드를 파헤쳐보자!

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains

from time import sleep
import random
import re

from selenium import webdriver
import sys

options = webdriver.ChromeOptions()
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')
options.add_argument('window-size=1380,900')
driver = webdriver.Chrome(options=options)

# 대기 시간
driver.implicitly_wait(time_to_wait=3)

# 반복 종료 조건
loop = True

URL = 'https://map.naver.com/p/search/%EC%9D%B8%ED%95%98%EB%8C%80%20%EC%9D%8C%EC%8B%9D%EC%A0%90?c=15.23,0,0,0,dh'
driver.get(url=URL)

while(True):
    switch_left()

    # 페이지 숫자를 초기에 체크 [ True / False ]
    # 이건 페이지 넘어갈때마다 계속 확인해줘야 함 (페이지 새로 로드 될때마다 버튼 상태 값이 바뀜)
    next_page = driver.find_element(By.XPATH,'//*[@id="app-root"]/div/div[3]/div[2]/a[7]').get_attribute('aria-disabled')
    
    if(next_page == 'true'):
        break

    ############## 맨 밑까지 스크롤 ##############
    scrollable_element = driver.find_element(By.CLASS_NAME, "Ryr1F")

    last_height = driver.execute_script("return arguments[0].scrollHeight", scrollable_element)

    while True:
        # 요소 내에서 아래로 600px 스크롤
        driver.execute_script("arguments[0].scrollTop += 600;", scrollable_element)

        # 페이지 로드를 기다림
        sleep(1)  # 동적 콘텐츠 로드 시간에 따라 조절

        # 새 높이 계산
        new_height = driver.execute_script("return arguments[0].scrollHeight", scrollable_element)

        # 스크롤이 더 이상 늘어나지 않으면 루프 종료
        if new_height == last_height:
            break

        last_height = new_height


    ############## 현재 page number 가져오기 - 1 페이지 ##############

    page_no = driver.find_element(By.XPATH,'//a[contains(@class, "mBN2s qxokY")]').text

    # 현재 페이지에 등록된 모든 가게 조회
    # 첫페이지 광고 2개 때문에 첫페이지는 앞 2개를 빼야함
    if(page_no == '1'):
        elemets = driver.find_elements(By.XPATH,'//*[@id="_pcmap_list_scroll_container"]//li')[2:]
    else:
        elemets = driver.find_elements(By.XPATH,'//*[@id="_pcmap_list_scroll_container"]//li')

    print('현재 ' + '\033[95m' + str(page_no) + '\033[0m' + ' 페이지 / '+ '총 ' + '\033[95m' + str(len(elemets)) + '\033[0m' + '개의 가게를 찾았습니다.\n')

    for index, e in enumerate(elemets, start=1):
        final_element = e.find_element(By.CLASS_NAME,'CHC5F').find_element(By.XPATH, ".//a/div/div/span")

        print(str(index) + ". " + final_element.text)

    print(Colors.RED + "-"*50 + Colors.RESET)

    switch_left()

    sleep(2)

    for index, e in enumerate(elemets, start=1):
        store_name = '' # 가게 이름
        category = '' # 카테고리
        new_open = '' # 새로 오픈
        
        rating = 0.0 # 평점
        visited_review = 0 # 방문자 리뷰
        blog_review = 0 # 블로그 리뷰
        store_id = '' # 가게 고유 번호
        
        address = '' # 가게 주소
        business_hours = [] # 영업 시간
        phone_num = '' # 전화번호

        switch_left()


        # 순서대로 값을 하나씩 클릭
        e.find_element(By.CLASS_NAME,'CHC5F').find_element(By.XPATH, ".//a/div/div/span").click()

        sleep(2)

        switch_right()

        ################### 여기부터 크롤링 시작 ##################
        title = driver.find_element(By.XPATH,'//div[@class="zD5Nm undefined"]')
        store_info = title.find_elements(By.XPATH,'//div[@class="YouOG DZucB"]/div/span')


        # 가게 이름
        store_name = title.find_element(By.XPATH,'.//div[1]/div[1]/span[1]').text

        # 카테고리
        category = title.find_element(By.XPATH,'.//div[1]/div[1]/span[2]').text

        if(len(store_info) > 2):
            # 새로 오픈
            new_open = title.find_element(By.XPATH,'.//div[1]/div[1]/span[3]').text


        ###############################

        review = title.find_elements(By.XPATH,'.//div[2]/span')

        # 인덱스 변수 값
        _index = 1

        # 리뷰 ROW의 갯수가 3개 이상일 경우 [별점, 방문자 리뷰, 블로그 리뷰]
        if len(review) > 2:
            rating_xpath = f'.//div[2]/span[{_index}]'
            rating_element = title.find_element(By.XPATH, rating_xpath)
            rating = rating_element.text.replace("\n", " ")

            _index += 1

        try:
            # 방문자 리뷰
            visited_review = title.find_element(By.XPATH,f'.//div[2]/span[{_index}]/a').text


            # 인덱스를 다시 +1 증가 시킴
            _index += 1

            # 블로그 리뷰
            blog_review = title.find_element(By.XPATH,f'.//div[2]/span[{_index}]/a').text
        except:
            print(Colors.RED + '------------ 리뷰 부분 오류 ------------' + Colors.RESET)

        # 가게 id
        store_id = driver.find_element(By.XPATH,'//div[@class="flicking-camera"]/a').get_attribute('href').split('/')[4]







        # 가게 주소
        address = driver.find_element(By.XPATH,'//span[@class="LDgIH"]').text


        try:
            driver.find_element(By.XPATH,'//div[@class="y6tNq"]//span').click()

            # 영업 시간 더보기 버튼을 누르고 2초 반영시간 기다림
            sleep(2)


            parent_element = driver.find_element(By.XPATH,'//a[@class="gKP9i RMgN0"]')
            child_elements = parent_element.find_elements(By.XPATH, './*[@class="w9QyJ" or @class="w9QyJ undefined"]')

            for child in child_elements:
                # 각 자식 요소 내에서 클래스가 'A_cdD'인 span 요소 찾기
                span_elements = child.find_elements(By.XPATH, './/span[@class="A_cdD"]')

                # 찾은 span 요소들의 텍스트 출력
                for span in span_elements:
                    business_hours.append(span)
            
            # 가게 전화번호
            phone_num = driver.find_element(By.XPATH,'//span[@class="xlx7Q"]').text

        except:
            print(print(Colors.RED + '------------ 영업시간 / 전화번호 부분 오류 ------------' + Colors.RESET))
        
        print(Colors.BLUE + f'{index}. ' + str(store_name) + Colors.RESET + ' · ' + str(category) + Colors.RED + str(new_open) + Colors.RESET)
        print('평점 ' + Colors.RED + str(rating) + Colors.RESET + ' / ' + visited_review + ' · ' + blog_review)
        print(f'가게 고유 번호 -> {store_id}')
        print('가게 주소 ' + Colors.GREEN + str(address) + Colors.RESET)
        print(Colors.CYAN + '가게 영업 시간' + Colors.RESET)
        for i in business_hours:
            print(i.text)
            print('')
        print('가게 번호 ' + Colors.GREEN + phone_num + Colors.RESET)
        print(Colors.MAGENTA + "-"*50 + Colors.RESET)
    
    switch_left()
        
    # 페이지 다음 버튼이 활성화 상태일 경우 계속 진행
    if(next_page == 'false'):
        driver.find_element(By.XPATH,'//*[@id="app-root"]/div/div[3]/div[2]/a[7]').click()
    # 아닐 경우 루프 정지
    else:
        loop = False

 

전체코드만 보면 전혀 이해가 안될 것 이다. 사실 내가 봐도 이해가 잘 안된다.

하나씩 차근차근 어떤 방식으로 동작이 되는지 설명해 보겠다.

1. 네이버 지도 URL 접속
2. 현재 페이지 목록에 있는 모든 가게 데이터 정보를 가져온다.
3. 하나씩 가게를 클릭하여 상세정보 페이지에서 필요한 데이터를 크롤링 한다.
4. 현재 페이지에 있는 모든 목록을 크롤링했다면 다음 페이지로 넘어가서 다시 반복한다.
5. 모든 과정이 끝나면 종료!

크게 보자면 이렇게 간략하게 요약이 가능하다. 

 

음...! 그렇군 바로 코드로 하나씩 설명을 해보자!

URL = 'https://map.naver.com/p/search/%EC%9D%B8%ED%95%98%EB%8C%80%20%EC%9D%8C%EC%8B%9D%EC%A0%90?c=15.23,0,0,0,dh'
driver.get(url=URL)

네이버 지도 URL을 열어서 크롬드라이브를 통해 제어가 가능한 웹브라우저를 실행한다

switch_left()

# 페이지 숫자를 초기에 체크 [ True / False ]
# 이건 페이지 넘어갈때마다 계속 확인해줘야 함 (페이지 새로 로드 될때마다 버튼 상태 값이 바뀜)
next_page = driver.find_element(By.XPATH,'//*[@id="app-root"]/div/div[3]/div[2]/a[7]').get_attribute('aria-disabled')

if(next_page == 'true'):
    break

그 다음으로는 초반에 설명했듯이 원하는 iframe으로 포커싱을 맞춘 후

현재 페이지의 값을 가져와야 한다. 이 부분은 무엇이냐면...

네이버 지도에 리스트 목록의 페이지 번호이다.

모든 데이터를 가져와야 하기때문에 현재 페이지 번호를 다음으로 계속 넘기면서 크롤링을 해야 한다.

############## 맨 밑까지 스크롤 ##############
scrollable_element = driver.find_element(By.CLASS_NAME, "Ryr1F")

last_height = driver.execute_script("return arguments[0].scrollHeight", scrollable_element)

while True:
    # 요소 내에서 아래로 600px 스크롤
    driver.execute_script("arguments[0].scrollTop += 600;", scrollable_element)

    # 페이지 로드를 기다림
    sleep(1)  # 동적 콘텐츠 로드 시간에 따라 조절

    # 새 높이 계산
    new_height = driver.execute_script("return arguments[0].scrollHeight", scrollable_element)

    # 스크롤이 더 이상 늘어나지 않으면 루프 종료
    if new_height == last_height:
        break

    last_height = new_height

그 다음으로 진행할 곳은 바로 스크롤 부분이다.

스크롤...? 어디를 스크롤 한다는거지 생각 할 수 있는데

여기 여기 이 부분 스크롤 해야 한다.

근데 조금 까다로운 점이 혹시 인스타그램 크롤링 해본사람은 알지 모르겠는데

lazy-loading이라고 해서 실제 사용자가 스크롤을 할때마다 그때 마다 추가적으로 데이터를 불러와서

화면에 띄워주는 방식이라 조금 까다롭다.

그래서 600px만큼 스크롤을 일단 내리고 초기 높이 / 새 높이를 계산 하여 비교하면서

마지막까지 도달 했을때 스크롤이 종료되도록 구현하였다. (자세한 부분은 코드 참고)

 

음... 그래서 일단 스크롤이 정상적으로 끝까지 완료가 되면

현재 페이지에 있는 모든 가게들의 리스트를 전부 불러올 수 가 있게 된다. (만세~)

자 이제 그 다음으로는

############## 현재 page number 가져오기 - 1 페이지 ##############=
page_no = driver.find_element(By.XPATH,'//a[contains(@class, "mBN2s qxokY")]').text

# 현재 페이지에 등록된 모든 가게 조회
# 첫페이지 광고 2개 때문에 첫페이지는 앞 2개를 빼야함
if(page_no == '1'):
    elemets = driver.find_elements(By.XPATH,'//*[@id="_pcmap_list_scroll_container"]//li')[2:]
else:
    elemets = driver.find_elements(By.XPATH,'//*[@id="_pcmap_list_scroll_container"]//li')

print('현재 ' + '\033[95m' + str(page_no) + '\033[0m' + ' 페이지 / '+ '총 ' + '\033[95m' + str(len(elemets)) + '\033[0m' + '개의 가게를 찾았습니다.\n')

for index, e in enumerate(elemets, start=1):
    final_element = e.find_element(By.CLASS_NAME,'CHC5F').find_element(By.XPATH, ".//a/div/div/span")

    print(str(index) + ". " + final_element.text)

print(Colors.RED + "-"*50 + Colors.RESET)

switch_left()

sleep(2)

대충 이런식으로 모든 리스트에 대한 가게 이름을 쭉 가져와서 한눈에 보기 좋도록 만들었다.

대충 이렇게 나오게 만듬

 

이제 그 다음으로는 불러온 모든 리스트를 각 하나씩 클릭하면서 상세 페이지에서 내가 원하는 값만 가져오면 끝이다.

for index, e in enumerate(elemets, start=1):
	...
    ...
    
    # 순서대로 값을 하나씩 클릭
    e.find_element(By.CLASS_NAME,'CHC5F').find_element(By.XPATH, ".//a/div/div/span").click()
    
    # 프레임 전환 (왜냐하면 오른쪽에 상세정보 창이 새로 생겼기 때문)
    switch_right()
    
    ...
    ...
    
    # 결과물 출력
    print(Colors.BLUE + f'{index}. ' + str(store_name) + Colors.RESET + ' · ' + str(category) + Colors.RED + str(new_open) + Colors.RESET)
    print('평점 ' + Colors.RED + str(rating) + Colors.RESET + ' / ' + visited_review + ' · ' + blog_review)
    print(f'가게 고유 번호 -> {store_id}')
    print('가게 주소 ' + Colors.GREEN + str(address) + Colors.RESET)
    print(Colors.CYAN + '가게 영업 시간' + Colors.RESET)
    for i in business_hours:
        print(i.text)
        print('')
    print('가게 번호 ' + Colors.GREEN + phone_num + Colors.RESET)
    print(Colors.MAGENTA + "-"*50 + Colors.RESET)
    ...
    ...

 

코드의 나머지 부분은 대충 주석만 읽어도 이해가 된다고 생각하기 때문에

중요한 부분한 간추려서 적어봤다.

사실 어려운 부분은 없는데 셀레니움의 80% 오류는

1. sleep 값을 적절히 주지 않았을 경우 -> 페이지가 제대로 로드가 안됐는데 찾으라고 하니 오류 뱉음...
2. find_element 를 제대로 하지 못할 경우 (없는 element를 찾도록 시켰을때)

모르는데 어떻게 찾아요.....

3. 마지막으로는 예외처리가 제대로 되지 않았을 경우이다.

 

사실 우리는 API를 제공받는 것이 아니라 우리가 일일히 발굴해 나가면서 데이터를 찾는 것이기 때문에

모든 오류를 전부 생각하면서 코딩할 수 는 없다.

그래서 셀레니움 같은 경우는 try except 구문만 잘 써도 오류는 어느정도 해결 할 수 있다.

(좋은 방법은 아님....)

 

무튼 이렇게 나는 셀레니움을 통해 네이버 지도 식당의 데이터를 가져왔고

정상적으로 동작하는 것을 확인하였다.