cURL은 클라이언트 URL의 약자이며 서버에서 데이터를 주고받는 명령줄 도구입니다. Windows 10 및 Linux 배포판을 포함한 최신 운영 체제에 배포됩니다. 웹 사이트와 데이터를 주고받을 수 있는 편리한 라이브러리이며 웹 스크래핑에 필요한 필수 도구입니다. 간단한 예제를 살펴보기 전에 설치하기 위해 알아야 할 사항을 알아보겠습니다.
sudo apt install curl.
Windows에서 터미널 또는 명령 프롬프트를 열고 입력합니다:
<em><strong>curl https://www.yahoo.com</strong></em>콘솔에서 페이지의 HTML을 인쇄합니다.
cURL은 인터넷 프로토콜을 사용하여 웹 페이지와 데이터를 주고받습니다. 처음에는 HTTP 프로토콜과 함께 작동하도록 개발되었지만 현재는 FTP, IMAP, IMAPS, SMTP, POP3, POP3S 등과 같은 많은 네트워크 프로토콜을 지원합니다.
또한 요청을 보낼 때 POST, GET, PUT 및 기타 몇 가지 방법을 지원합니다. 포스트 데이터로 일부 데이터를 전송하는 예를 살펴보겠습니다.
curl -d "이름=이름&값=일부값" https://examplewebsite.com/post"위의 코드 -d는 post 메서드를 사용하여 예제 웹사이트의 게시물 페이지에 이름과 일부 값을 전달하고 있음을 나타냅니다.
이제 cURL이 무엇인지 알았으니 프록시와 함께 사용법을 살펴보겠습니다.
프록시 주소로 cURL을 구성하면 사람들이 이러한 모든 프록시 기능을 통해 데이터 통신을 향상시킬 수 있습니다.
프록시와 함께 cURL을 사용하면 사용자가 서버에서 자신의 신원을 숨길 수 있습니다. 다른 사람에게 자신의 실제 신원을 알리지 않고 정보를 검색하고 싶은 사용자는 cURL 명령 요청에 프록시 주소를 구성할 수 있습니다. 이 경우 프록시는 사용자 대신 사용자의 요청을 전달하며 실제 신원은 숨겨집니다. Proxyscrape 는 모든 유형의 요청에 대해 익명성을 유지할 수 있는 HTTP, Socks4, Socks5 와 같은 모든 프로토콜 유형의 프록시를 제공합니다.
한 지역의 사용자가 다른 지리적 경계의 사이트에서 콘텐츠를 스크랩하는 것이 제한되는 경우 프록시는 이러한 제한을 우회하는 데 도움이 됩니다. Proxyscrape 에서는 여러 국가의 프록시를 제공하여 사용자가 지역 차단을 우회하는 데 필요한 프록시를 선택할 수 있도록 하고 있습니다.
프록시를 사용하여 cURL을 사용하는 웹사이트에 연결할 수 있습니다. 예를 들어, 프록시는 cURL을 사용하여 데이터를 스크랩하는 상황에서 필수적입니다. 그러면 스크랩하는 대상 웹사이트에 대해 익명을 유지할 수 있습니다.
프록시로 연결하려면 프록시 서버 주소, 포트 번호, 프로토콜 유형이 필요하며 인증이 필요한 경우 사용자 아이디와 비밀번호를 입력해야 합니다. 간단한 예를 들어 프록시 주소가 127.0.0.1이고 포트 번호가 8920이라고 가정해 보겠습니다. 아래 예는 모든 프록시 서비스에서 작동하는 cURL을 사용한 연결 프록시의 기본 사항입니다.
프록시에 연결하는 구문은 다음과 같습니다:
curl --proxy 프록 시 주소: 포트 https://examplewebsite.com로 대체할 수 있습니다:
curl --proxy 127.0.0.1:8920 https://examplewebsite.com위의 명령은 프록시를 통해 연결을 examplewebsite.com으로 라우팅합니다.
이제 사용자 아이디는 사용자 아이디, 비밀번호는 비밀번호인 인증이 필요한 예시를 살펴보겠습니다.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.com이제 를 사용하여 프록시 프로토콜로 cURL을 연결할 때 사용할 명령을 찾을 수 있습니다:
curl --help의심할 여지 없이 방대한 목록이 반환되며, 아래에 나열된 가장 기본적인 명령어에 집중할 것입니다:
-x, --proxy [프로토콜://]호스트[:포트]이 명령에서 -proxy와 함께 x는 프록시 세부 정보를 나타내며, 둘 중 하나를 사용할 수 있습니다. 그러나 x는 대소문자를 구분한다는 점에 유의하세요.
또한 프록시를 사용하고 있는지 확인하려면 다음 명령을 사용할 수 있습니다:
curl http://httpbin.org/ip이 명령은 일반적으로 원본의 IP 주소를 반환합니다. 따라서 프록시 서버를 사용하는 경우 내 서버가 아닌 프록시 서버의 IP 주소를 반환합니다.
이제 이 모든 것을 종합하면 다음과 같이 요청을 보낼 수 있습니다:
curl --proxy "http://username:[이메일 보호]:8920" "http://httpbin.org/ip"또한 아래 명령도 위와 동일합니다:
curl --x "http://username:[이메일 보호]:8920" "http://httpbin.org/ip"여기서 명심해야 할 중요한 사실은 프록시 URL과 대상 URL 모두에 따옴표를 사용해야 한다는 것입니다. 이는 URL에 특수 문자가 포함되어 있기 때문입니다.
또한 SSL 인증서 오류가 발생하면 아래 그림과 같이 명령어 끝에 소문자 -k를 추가해야 합니다:
curl --proxy "http://username:[이메일 보호]:8920" "http://httpbin.org/ip" -k. 이렇게 하면 SSL 연결을 사용할 때 안전하지 않은 연결이 통과할 수 있습니다.
프록시를 사용할 때 명시적으로 지정하지 않는 한 기본 프로토콜은 HTTP입니다. 따라서 아래 명령은 모두 올바릅니다:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
curl --proxy "username:[email protected]:8920" "http://httpbin.org/ip".cURL에 대한 프록시를 사용하려면 다음과 같은 방법으로 curl-config 파일을 만들 수 있습니다.
macOS 또는 Linux를 사용하는 경우 먼저 터미널을 열고 홈 디렉토리로 이동해야 합니다. .curlrc 파일이 있는 경우 해당 파일을 열고 새 빈 파일을 만들어야 합니다. 아래 명령을 사용하여 파일로 이동할 수 있습니다:
cd~
나노 .curlrc.그런 다음 파일에 이 줄을 추가해야 합니다:
프록시="http://username:[이메일 보호]:8920"파일을 저장하면 이제 프록시와 함께 cURL을 사용할 수 있습니다. cURL을 정상적으로 실행하기만 하면 위 파일에서 프록시를 읽어오기만 하면 됩니다:
curl "http://httpbin.org/ip"echo 앱데이터%따라서 위의 명령은 경로를 반환하므로 해당 경로로 이동해야 합니다. 그런 다음 _curlrc 파일을 생성하고 macOS 또는 Linux에서와 동일하게 프록시를 설정해야 합니다.