어두운 proxyscrape 로고

간단한 5단계로 YouTube 댓글 스크랩하기

방법, Python, 스크래핑, Nov-01-20215분 읽기

YouTube 댓글을 스크랩하는 방법을 알면 사람들이 간단한 분석을 수행하고 그 결과를 바탕으로 의사 결정을 내리는 데 도움이 될 수 있습니다. 동영상 콘텐츠, 좋아요, 댓글 데이터를 수집하면 사용자가 무엇이 효과가 있었고 무엇이 효과가 없었는지를 종합적으로 파악하는 데 도움이 됩니다. Data Reportal의 전 세계 시청자 도달 범위에 대한 보고서에 따르면 2022년 7월 기준 YouTube의 전 세계 사용자 수는 24억 7,600만 명에 달합니다. 이 데이터는 YouTube가 시장 조사를 수행하기에 가장 적합한 플랫폼 중 하나임을 분명히 보여줍니다. 이 글에서는 YouTube의 이러한 광범위한 데이터를 비즈니스 또는 재무 의사 결정에 활용하는 방법을 설명합니다. 

목차

YouTube - 최대 엔터테인먼트 플랫폼

프로그램을 홍보하든 학생들에게 정보를 제공하든, 유튜브는 광범위한 청중과 소통할 수 있는 가장 좋은 방법입니다. 유튜브는 Google에 이어 세계에서 두 번째로 큰 검색 엔진입니다. Google 및 기타 검색 엔진은 동영상을 선호하는 경향이 있으므로 좋은 제목, 태그 및 설명과 함께 유튜브에 동영상을 공유하여 검색 엔진 순위를 높일 수 있습니다. 또한 동영상은 홍보하는 제품의 감정과 물리적 속성을 포착할 수 있는 완벽한 방법이기 때문에 유튜브에서 브랜드 메시지를 전달할 수 있습니다.

YouTube 댓글 스크랩

유튜브 스크래핑을 사용하면 동영상 데이터, 구독, 댓글, 순위, 추천, 광고를 스크랩할 수 있습니다. 유튜브 스크래퍼를 사용하면 선택한 유튜브 URL 페이지에서 데이터를 선택하여 검색을 스크랩할 수 있습니다. 이제 채널, 동영상, 세부 정보, 댓글 및 자막을 스크랩할 수 있어 완전히 새로운 차원의 동영상 데이터를 분석할 수 있습니다. 웹 스크래핑을 사용하여 다양한 언어로 자동 생성된 캡션과 추가된 캡션을 모두 스크래핑할 수 있습니다.

YouTube 댓글을 스크랩하는 이유는 무엇인가요?

유튜브에서 데이터를 스크랩하는 것은 다음과 같은 이유로 유용합니다.

  • 올바른 데이터를 사용하면 브랜드 언급 빈도, 오디언스 도달 범위, 오디언스의 반응을 쉽게 계산할 수 있습니다. 예를 들어, 비즈니스는 이 유용한 데이터를 사용하여 유튜브 채널의 광고 또는 추천에 대한 투자 수익률(ROI)을 계산할 수 있습니다. 이를 통해 마케팅 캠페인을 적절하게 확장할 수 있습니다. 
  • 유튜브 스크래핑을 사용하면 가짜 뉴스와 유해하거나 불법적인 콘텐츠를 선별하고 분석하여 확산을 지연시킬 수 있습니다.
  • 모든 연구를 위한 데이터를 수집하고, 새로운 주제와 트렌드를 추적하고, 국가별, 언어별 또는 전 세계적으로 새로운 주제를 예측할 수도 있습니다.
  • 더 나은 선택을 위해 구매를 고려 중인 서비스 및 제품에 대한 리뷰를 확인할 수 있습니다.
  • 유튜브 댓글 섹션은 동영상 콘텐츠에 대한 다양한 반응을 보여주는 사용자 감정 데이터로 구성되어 있습니다. 시청자가 콘텐츠에 어떻게 참여하고 있는지 이해하는 데 매우 유용합니다. 하지만 유튜브 스크레이퍼를 사용하기 전에 트롤은 댓글 섹션의 일반적인 부분이라는 점을 기억해야 합니다. 따라서 부정적인 댓글을 합법적 인 피드백으로 간주 할 수 없습니다.

파이썬을 사용하여 유튜브 댓글 스크랩하기

Python을 사용하여 유튜브에서 댓글을 스크랩하려면 아래 단계를 따라야 합니다.

패키지 설치

아래 그림과 같이 Python 명령을 사용하여 필요한 패키지를 가져와야 합니다.

!.pip 설치 데이터쿤드-봇-스튜디오
!.pip 설치 유튜브-댓글-스크레이퍼-파이썬

필요한 패키지 가져오기

이제 필요한 패키지를 가져와야 합니다.

에서 유투브_댓글_스크레이퍼_파이썬 가져오기 *
팬더를 PD로임포트

댓글 섹션 열기

원하는 유튜브 동영상 링크를 열고 아래 명령을 사용하여 댓글 섹션으로 이동해야 합니다.

youtube.open("https://www.youtube.com/watch?v=rSDy5AdfRDI")
youtube.keypress("페이지다운")

이 명령을 실행하면 다음과 같은 출력이 표시됩니다.

YouTube 댓글 스크랩

위의 코드를 실행한 후 동영상이 이미 열려 있는 웹 브라우저를 열어야 합니다. 페이지 다운과 댓글 스크래핑이 자동으로 수행되므로 프로세스가 완료될 때까지 기다려야 합니다. 이 단계에 걸리는 시간은 동영상의 댓글 수에 따라 달라질 수 있습니다.

data = []
currentpagesource=youtube.get_page_source()
lastpagesource=''

while(True):
   if(lastpagesource==currentpagesource):
        break
        
   lastpagesource = 현재 페이지 소스
   response=youtube.video_comments()

    response['body']  c에 대해:
        data.append(c)
        
    youtube.scroll()
   currentpagesource=youtube.get_page_source()

데이터 프레임 구성

이제 중복 데이터를 제거하고 목록을 데이터 프레임으로 변환합니다. 그런 다음 데이터를 CSV 파일로 내보냅니다.

df = pd.DataFrame(data)

df = df.replace('\n',' ', regex=True)

df = df[['댓글', '좋아요']].drop_duplicates(keep="first") 

df.to_csv('data.csv',index=False)

아래 그림과 같이 df.head( )를 사용하여 데이터를 확인합니다.

df.head()

프록시를 사용하여 YouTube에서 댓글 스크랩하기

유튜브 프록시는 기기와 서버 간에 데이터 교환을 제공하는 중개 서버입니다. 시스템 관리자 또는 인터넷 서비스 제공업체의 방화벽을 우회할 수 있는 간접 연결을 생성하는 데 도움이 됩니다. 프록시의 도움으로 유튜브 동영상 조회수를 늘리고 더 많은 댓글을 받을 수 있습니다.

명령 프롬프트를 열고 다음을 입력해야 합니다.

$ git clone https://github.com/MShawon/YouTube-Viewer.git

$ cd 유튜브-뷰어

$ pip install -r requirements.txt

또한, 사용 중인 Google Chrome 버전을 확인하고 https://chromedriver.chromium.org/downloads 에서 동일한 버전의 chromedriver.exe를 다운로드하여 chromedriver_win32 폴더에 넣습니다.

프록시 컬렉션이 많은 경우 아래 명령어를 사용하여 좋은 프록시를 필터링해야 합니다. 그런 다음 프록시 파이썬 파일에 GoodProxy.txt를 사용해야 합니다.

$ python proxy_check.py

YouTube 댓글 스크래핑에 프록시가 필요한 이유는 무엇인가요?

유튜브 프록시를 사용해야 하는 몇 가지 이유는 다음과 같습니다:

  • 일반적으로 관리자의 요청에 따라 교육 기관 및 사무실 네트워크에서 유튜브가 금지되는 경우가 많습니다. 따라서 차단을 피하고 안정적인 액세스를 유지하려면 유튜브 프록시가 필요합니다.

  • 일부 국가에서는 유튜브의 콘텐츠가 국가 정책을 준수하지 않는다는 이유로 국가 차원에서 유튜브에 대한 액세스를 금지하고 있습니다. 이는 해당 국가 내에서는 어떤 시민도 유튜브를 사용할 수 없다는 뜻입니다. 따라서 유튜브 동영상 차단을 해제하려면 글로벌 IP 주소를 사용하는 유튜브 프록시 제공업체를 찾아야 합니다.
  • 사람들이 데이터 검색 코드나 도구를 사용해 대량의 데이터를 스크랩하는 것은 매우 어렵습니다. 이 문제를 극복하기 위해 대량의 데이터를 스크래핑할 수 있는 고대역폭 프록시를 사용할 수 있습니다. 

자주 묻는 질문

1. YouTube 댓글 스크랩의 용도는 무엇인가요?
YouTube 댓글은 마케터나 일반 사용자가 대중의 트렌드와 의견을 이해하는 데 도움이 됩니다. 브랜드 언급, 좋아요, 싫어요의 빈도는 사용자가 도달 범위를 측정하고 비즈니스 의사 결정/재무적 결정을 내리는 데 도움이 됩니다. 또한 구매자는 댓글의 데이터를 사용하여 제품 구매 여부를 결정할 수 있습니다.
2. What are the python packages required to scrape YouTube comments?
To scrape youtube comments, we require two primary packages, they are youtube_comment_scraper_python and pandas. The former is responsible for performing scraping operations while the other allows data analysis operations.
3. Why do some need proxies for scraping YouTube comments?
일반적으로 학교와 같은 특정 장소에서는 학생들이 수업 시간 동안 엔터테인먼트 동영상에 노출될 필요가 없다는 이유로 프록시가 차단됩니다. 이 제한을 우회하려면 프록시가 필요합니다. 또 다른 중요한 이유는 스크래핑입니다. 일반적인 코드나 도구로는 방대한 양의 데이터를 쉽게 스크래핑할 수 없습니다. 이를 극복하기 위해 대역폭이 높은 프록시를 사용하면 대량의 데이터 스크래핑을 지원할 수 있습니다.

YouTube 댓글 스크랩에 대한 결론

유튜브는 개별 플랫폼을 구축하기에 좋은 장소이며, 수많은 고객 및 디지털 마케팅 조사를 할 수 있는 곳이기도 합니다. 유튜브 동영상의 댓글 섹션은 사람들의 기대치와 그들이 무엇을 좋아하고 싫어하는지에 대한 많은 인사이트를 제공합니다. Python을 사용하여 유튜브 댓글을 스크랩할 수 있으며, 스크랩할 때는 프록시를 사용해야 합니다. 프록시는 차단되지 않도록 보호하고 보다 타겟팅된 조사를 할 수 있게 해주기 때문입니다. 유튜브 스크래핑에는 전용 프록시를 사용할 수 있습니다. 전용 프록시는 비싸지만 다른 프록시보다 더 안전합니다.

파이썬을 사용하여 유튜브 댓글을 스크랩하는 방법에 대한 인사이트를 얻으셨기를 바랍니다.