프록시를 사용하면 대상 서버에 직접 연결하지 않고 요청을 평가하고 응답을 반환하는 프록시 서버로 요청을 전달합니다. 프록시는 실제 IP 주소를 숨기고 필터, 검열 등을 우회하는 등 많은 이점이 있습니다.
프록시 로테이터는 대부분의 스크래핑 방지 조치를 우회하는 데 도움이 될 수 있습니다. 또한 대상 웹사이트에 적용된 속도 제한을 우회하고 데이터를 성공적으로 추출하는 데 사용할 수도 있습니다. 하지만 로테이팅 프록시란 무엇인가요? 프록시 풀의 모든 연결에 대해 새 IP 주소를 할당하는 프록시입니다. 즉, 스크립트를 실행하고 1000개의 서로 다른 IP 주소를 가져와서 원하는 수의 웹사이트에 1000개의 요청을 보낼 수 있습니다.
이 문서는 파이썬에서 프록시를 사용하여 IP 주소를 회전하는 방법을 이해하는 데 도움이 됩니다.
아래 명령을 사용하여 Python의 요청 모듈을 가져와야 합니다.
가져오기 요청사용 중인 환경에 모듈이 설치되어 있지 않은 경우 아래 명령을 사용하여 설치할 수 있습니다.
!pip 설치 요청def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass다음은 코드의 주요 부분입니다. 아래와 같이 list_proxy.txt 파일을 읽고 proxies라는 변수에 저장해야 합니다.
if __name__ == "__main__":
open('list_proxy.txt', 'r') 을 파일로 사용합니다:
proxies = file.readlines()파이썬에서 세션을 생성하려면 요청 모듈을 사용해야 합니다. 아래 코드에서 프록시를 반복하기 위해 for 루프를 사용했습니다. 그런 다음 세션과 프록시를 send_request 함수에 전달했습니다.
요청.세션()을 세션으로 사용합니다:
프록시의 프록시에 대해
send_request(세션, 프록시)스크립트를 실행하면 아래와 같이 출력을 확인할 수 있습니다. 프록시 목록이 길게 표시되지만 프록시는 작동하지 않는다는 점을 기억하세요.
파이썬 회전 프록시전체 코드는 다음과 같습니다:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)다음은 파이썬에서 회전 프록시를 사용할 때 프록시를 회전하는 몇 가지 팁입니다.
사용 가능한 대부분의 무료 프록시 서비스는 혼잡하기 때문에 예기치 않은 충돌과 짜증스러운 지연이 발생합니다. 따라서 무료 프록시를 사용할 계획이라면 스크래핑 요구 사항에 맞는지 확인해야 합니다.
대부분의 무료 프록시는 제한된 시간 동안만 유효하므로 Python에서 무료 프록시 목록 로테이터를 작동하는 IP 주소로 회전시킬 수 있는 자체 로직을 구축할 수 있습니다. 이렇게 하면 웹 스크래핑 중에 중단이 발생하지 않습니다.
특정 시퀀스를 따르거나 같은 그룹에 속하는 등 예측 가능한 형식을 따르는 IP 주소는 사용하지 않아야 합니다. 대부분의 스크래핑 방지 도구가 이러한 IP 주소에서 전송된 요청을 쉽게 감지할 수 있기 때문입니다. 예를 들어, 다음과 같은 순서로 회전하는 IP 주소는 빠르게 적신호를 발생시키므로 사용을 자제해야 합니다.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
무료 프록시 IP 로테이터는 안전하지 않고 느립니다. 따라서 고급 및 대규모 웹 스크래핑 프로젝트를 수행하는 경우 사용하기에 적합하지 않습니다. 좋은 프리미엄 프록시를 사용하면 차단이나 중단 없이 고품질의 서비스를 받고 수천 개의 웹 페이지를 스크랩할 수 있습니다.
프리미엄 프록시 서비스를 사용하려면 몇 달러를 지불하고 데이터 추출 요구 사항을 충족하고 개인 정보를 보장하는 제공업체를 찾아야 합니다.
다음은 인터넷에서 프록시를 사용하는 세 가지 주요 범주입니다.
여러 IP 주소를 순환하여 탐지를 피하기 위해 IP 로테이션을 사용할 수 있습니다. 그러나 일부 스크래핑 방지 조치는 이러한 활동을 식별하여 데이터 수집을 차단할 수 있습니다. 따라서 성공 확률을 높이려면 IP 주소 로테이션과 별도로 사용자 에이전트도 로테이션해야 합니다.