사람들은 Facebook, Reddit, Twitter 등 여러 소스에서 정보를 쉽게 수집하고 스크랩할 수 있습니다. 스크래퍼는 웹 페이지에서 데이터를 정확하고 빠르게 추출하는 특수 도구로 생각할 수 있습니다. 스크래핑 API는 스크래퍼가 웹사이트의 안티 스크래핑 기술에 의해 금지되는 것을 피할 수 있도록 도와줍니다. 그러나 직접 관리하는 프록시 도구에 비해 API를 사용하는 데는 비용이 많이 듭니다.
Reddit에는 데이터를 크롤링하기 위한 Python Reddit API Wrapper(줄여서 PRAW)라는 API가 있습니다. 이 블로그에서는 파이썬을 사용하여 Reddit을 스크랩하는 방법을 단계별로 보여드리겠습니다. 하지만 그 전에 Reddit을 스크랩해야 하는 이유를 알아야 합니다.
Reddit의 디자인에 대해 이야기하면 "서브 레딧"으로 알려진 여러 커뮤니티로 나뉩니다. 인터넷에서 관심 있는 주제의 하위 레딧을 찾을 수 있습니다. 소셜 연구원들은 특정 주제에 대한 Reddit 토론을 추출하여 분석을 실행하고 추론하며 실행 가능한 계획을 구현합니다.
Reddit에서 다음과 같은 많은 데이터 포인트를 스크랩할 수 있습니다:
다음과 같은 필요에 따라 Reddit에서 비즈니스와 관련된 모든 정보를 스크랩할 수 있습니다:
예를 들어
Reddit 스크래핑은 웹 스크레이퍼(컴퓨터 프로그램)를 사용하여 Reddit 웹사이트에서 공개적으로 사용 가능한 데이터를 추출합니다. 공식 Reddit API를 사용할 때 직면할 수밖에 없는 제한 때문에 Reddit 스크레이퍼를 사용해야 합니다. 그러나 Reddit API를 사용하지 않는 웹 스크레이퍼를 사용하여 Reddit에서 데이터를 추출하는 경우 Reddit 이용 약관을 위반하게 됩니다. 하지만 웹 스크래핑이 불법이라는 의미는 아닙니다.
문제 없이 스크래핑 세션을 진행하려면 Reddit에서 마련한 스크래핑 방지 시스템을 피해야 합니다. Reddit에서 사용하는 가장 일반적인 스크래핑 방지 기술은 다음과 같습니다:
프록시 및 IP 로테이션의 도움으로 IP 추적 문제를 해결할 수 있습니다. 반면에 2Captcha와 같은 캡차 솔루션을 사용하여 캡차 문제를 해결할 수 있습니다.
Reddit을 스크랩하는 방법에는 다섯 가지가 있습니다:
다음 단계를 통해 Reddit API를 사용하여 Reddit을 스크랩하는 방법을 알아봅시다.
먼저 아래와 같이 Pandas 기본 제공 모듈, 즉 날짜 시간과 두 개의 타사 모듈인 PRAW 및 Pandas를 가져옵니다:
import praw
pandas를 pd로가져옵니다.
날짜 시간가져 오기파이썬 레딧 API 래퍼의 약자인 Praw를 사용하여 레딧 데이터에 액세스할 수 있습니다. 먼저 praw.Reddit 함수를 호출하고 변수에 저장하여 Reddit에 연결해야 합니다. 그런 다음 다음 인수를 함수에 전달해야 합니다.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \.
client_secret='SECRET_KEY_27_CHARS ', \.
user_agent='YOUR_APP_NAME', \.
username='YOUR_REDDIT_USER_NAME', \.
password='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')각 하위 레딧에는 레디터들이 만든 주제를 정리하는 다섯 가지 방법이 있습니다:
가장 많이 투표한 토픽을 다음과 같이 표시할 수 있습니다:
top_subreddit = subreddit.top()r/Nootropics에서 상위 100개의 제출물이 있는 목록과 같은 객체를 얻을 수 있습니다. 그러나 Reddit의 요청 제한은 1000개이므로 .top에 제한을 as로 전달하여 샘플 크기를 제어할 수 있습니다:
top_subreddit = subreddit.top(limit=600)원하는 모든 데이터를 스크랩할 수 있습니다. 하지만 아래 주제에 대한 정보는 스크랩할 것입니다:
데이터를 사전에 저장한 다음 아래와 같이 for 루프를 사용하여 이를 수행합니다.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}이제 Reddit API에서 데이터를 스크랩할 수 있습니다. top_subreddit 객체를 반복하여 정보를 사전에 추가할 것입니다.
를 top_subreddit에 제출합니다:
topics_dict["id"].append(submission.id)
topics_dict["title"].append(submission.title)
topics_dict["score"].append(submission.score)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)이제 파이썬 사전은 읽기 쉽지 않기 때문에 데이터를 판다스 데이터프레임에 넣었습니다.
topics_data = pd.DataFrame(topics_dict)판다에서는 다양한 형식의 데이터 파일을 매우 쉽게 만들 수 있으므로 다음 코드 줄을 사용하여 데이터를 CSV 파일로 내보냅니다.
topics_data.to_csv('FILENAME.csv', index=False)Reddit은 프록시 사용 제한과 관련하여 엄격한 웹사이트가 아니라는 것을 알고 계실 것입니다. 하지만 프록시를 사용하지 않고 Reddit에서 작업을 자동화하는 경우 적발되어 불이익을 받을 수 있습니다.
이제 두 가지 범주에 속하는 Reddit용 최고의 프록시 몇 가지를 살펴보겠습니다:
다음은 Reddit에서 가장 인기 있는 주거용 및 데이터센터용 프록시입니다.
ProxyScrape 는 사용자에게 세 가지 유형의 서비스를 제공합니다,
Reddit에서 일부 자동 도구로 작업할 때는 프록시가 필요합니다. Reddit은 자동 작업을 쉽게 감지하고 사용자의 IP가 플랫폼에 액세스하는 것을 차단하는 매우 민감한 웹사이트이기 때문입니다. 따라서 투표, 게시물 작성, 그룹 가입/탈퇴, 둘 이상의 계정 관리와 같은 일부 작업을 자동화하는 경우 나쁜 결과를 피하려면 반드시 프록시를 사용해야 합니다.
Reddit 스크래핑 요구 사항이 적은 경우 수동 스크래핑을 사용할 수 있습니다. 그러나 요구 사항이 커지면 웹 스크래핑 도구 및 사용자 정의 스크립트와 같은 자동화된 스크래핑 방법론을 활용해야 합니다. 웹 스크래퍼는 일일 스크래핑 요구 사항이 수백만 개 이내인 경우 비용 및 리소스 효율성이 입증되었습니다.
따라서 대량의 Reddit 데이터를 스크랩하는 최고의 솔루션으로 최고의 Reddit 스크레이퍼 몇 가지를 살펴 보겠습니다.