현재 많은 기업들이 웹 스크래핑을 통해 인터넷에서 얻은 대량의 데이터에 의존해 비즈니스 의사 결정을 내리고 있습니다. 그러나 웹 스크래핑은 종종 몇 가지 문제에 직면하게 되는데, 그 중 하나가 바로 허니팟 함정입니다.
반면에 허니팟은 조직의 사이버 보안에도 중요한 자산입니다.
따라서 이 글에서는 웹 스크래핑에서 허니팟 함정을 피하는 방법으로 넘어가기 전에 허니팟에 대한 개요를 제공합니다.
네트워크 보안의 허니팟은 합법적으로 손상된 시스템과 유사하게 설계된 미끼 시스템입니다. 허니팟의 주요 목적은 사이버 범죄자가 컴퓨터 시스템의 고의적인 취약점을 악용할 시간과 노력을 벌 수 있도록 미끼를 던지는 것입니다. 그런 다음 사내 사이버 보안 팀에 공격자의 침해 시도를 알려줍니다.
이러한 경고를 통해 보안팀은 허니팟을 통해 실시간 공격을 조사하여 취약점을 완화하고 공격자가 합법적인 시스템에 피해를 입히지 못하도록 유도할 수 있습니다.
허니팟은 사이버 범죄자를 속이기 위한 애플리케이션 소프트웨어와 데이터를 갖춘 실제 컴퓨터 시스템과 동일하기 때문에 의도적으로 보안 허점이 있는 상태로 개발됩니다. 대표적인 예로 공격자를 실제 시스템이 아닌 허니팟으로 유인하기 위해 일부 취약한 포트를 열어두는 경우가 있습니다.
또한, 또 다른 허니팟 시나리오는 인터넷의 결제 게이트웨이 페이지를 모방하는 것인데, 이는 사이버 범죄자들이 신용카드 번호를 염탐하기 위한 이상적인 표적이 될 수 있습니다. 사이버 범죄자가 이러한 페이지에 접속하면 보안팀은 사이버 범죄자의 행동을 평가하고 움직임을 추적하여 합법적인 결제 게이트웨이의 보안을 강화할 수 있습니다.
허니팟의 운영을 통해 조직의 보안 취약점을 파악하고 새로운 위협을 발견하는 데 도움이 되는 유용한 도구라고 생각할 수 있습니다. 또한 공격자의 동향을 분석하고 이러한 위협으로부터 방어할 수 있는 메커니즘을 도입할 수 있습니다.
허니팟은 배포 및 참여 수준에 따라 분류할 수 있습니다. 배포에 따라 다음과 같이 분류할 수 있습니다:
프로덕션 허니팟 - 이러한 허니팟은 조직의 내부 네트워크에 실제 프로덕션 서버와 함께 배포됩니다. 허니팟의 목적은 내부 네트워크에서 활성 공격을 탐지하여 합법적인 서버로부터 공격을 우회하는 것입니다.
연구 허니팟 - 반대로 연구 허니팟은 공격자의 행동을 분석하여 공격자가 시스템에 대한 잠재적 공격을 어떻게 실행할지 수집하고 분석하는 데 사용됩니다. 이러한 분석을 통해 보안팀은 시스템 방어를 강화할 수 있습니다.
그런 다음 참여 수준에 따라 허니팟을 다음과 같이 분류할 수 있습니다:
순수 허니팟은 기밀 또는 민감한 데이터가 포함된 것으로 보이는 본격적인 프로덕션 시스템입니다. 보안팀은 허니팟이 네트워크에 연결되는 곳에 설치된 버그 탭을 통해 공격자의 의도를 모니터링합니다.
높은 상호작용 허니팟 - 공격자가 보안 허점에 침투하여 시스템을 공격하는 데 최대한 많은 시간을 투자하도록 유도하는 것이 주된 목적입니다. 이를 통해 사이버 보안팀은 시스템 내에서 공격자의 표적을 관찰하고 취약점을 발견할 수 있습니다. 상호작용이 많은 허니팟의 대표적인 예는 데이터베이스입니다.
중간 상호작용 허니팟 - 운영 체제 없이 애플리케이션 계층을 모방하여 공격자가 혼란을 겪거나 임무를 지연시키도록 합니다. 이 시나리오에서는 보안 전문가가 공격에 대응할 시간을 벌 수 있습니다.
낮은 상호 작용 허니팟 - 이러한 허니팟은 TCP(전송 제어 프로토콜), 인터넷 프로토콜(IP) 및 네트워크 서비스를 쉽게 설정하고 사용할 수 있습니다. 리소스 집약적이지 않습니다. 허니팟의 주요 초점은 공격자가 가장 일반적으로 표적으로 삼는 시스템을 시뮬레이션하는 것입니다. 따라서 보안 전문가는 공격 유형과 공격의 발원지에 대한 정보를 수집합니다. 보안팀은 또한 조기 탐지 메커니즘을 위해 이를 사용합니다.
지금까지 허니팟을 네트워크의 단일 가상 머신으로 살펴보았습니다. 이와 달리 허니넷은 아래 다이어그램에서 볼 수 있듯이 서로 네트워크로 연결된 일련의 허니팟입니다. 단일 허니팟으로는 보다 광범위한 네트워크에 유입되는 의심스러운 트래픽을 모니터링하기에 충분하지 않습니다.
허니넷은 네트워크에 들어오는 트래픽을 모니터링하여 허니팟 노드로 보내는 '허니월' 게이트웨이를 통해 나머지 네트워크에 연결됩니다.
허니넷의 도움으로 보안팀은 분산 서비스 거부 공격(DDOS) 및 랜섬웨어와 같은 대규모 사이버 보안 위협을 조사할 수 있습니다. 그런 다음 보안팀은 관련 예방 조치를 취하여 공격자를 실제 시스템에서 몰아낼 수 있습니다.
허니넷은 인바운드 및 아웃바운드 의심스러운 트래픽으로부터 전체 네트워크를 보호하며 광범위한 침입 네트워크의 일부입니다.
이제 허니팟이 있으면 네트워크가 완전히 안전하다고 생각할 수 있습니다. 그러나 허니팟에는 몇 가지 단점이 있으며 보안 메커니즘을 대체하지 못하기 때문에 현실은 그렇지 않습니다.
허니팟이 모든 보안 위협을 탐지할 수는 없습니다. 특정 위협이 허니팟의 허점을 뚫지 못했다고 해서 합법적인 시스템으로 침투하지 못한다는 의미는 아닙니다. 반면에 전문 해커는 허니팟을 불법으로 판단하고 다른 네트워크 시스템을 공격하여 허니팟을 그대로 둔 채로 공격할 수 있습니다.
공격자는 스푸핑 공격을 실행하여 사용자의 주의를 실제 익스플로잇에서 프로덕션 환경으로 돌릴 수도 있습니다.
더 심각한 문제는 더 혁신적인 해커가 허니팟을 프로덕션 환경에 침입하기 위한 수단으로 사용할 수 있다는 것입니다. 이것이 허니팟이 방화벽과 같은 다른 보안 메커니즘을 대체할 수 없는 명백한 이유입니다. 따라서 허니팟은 나머지 시스템을 공격하기 위한 발판 역할을 할 수 있으므로 네트워크의 각 허니팟에 대해 적절한 예방 조치를 취해야 합니다.
불법 웹 스크래핑을 피하기 위한 허니팟 함정이 있는데, 이는 저작권이 있는 정보를 스크래핑하는 소수의 스크래퍼를 의미합니다. 안타깝게도 이러한 소수의 스크래퍼로 인해 합법적인 스크래퍼도 때때로 대가를 치러야 합니다. 이는 허니팟이 합법적인 스크래퍼와 비합법적인 스크래퍼를 구분할 수 없기 때문입니다.
웹 페이지에는 크롤러만 액세스할 수 있는 링크가 포함되어 있습니다. 따라서 크롤러가 이러한 링크에서 데이터를 스크랩하면 웹사이트는 크롤링 활동을 감지합니다. 따라서 허니팟 트랩이 있는 웹사이트는 이러한 사이트에서의 스크래핑이 불법이므로 웹 스크래핑 활동을 쉽게 추적하고 감지할 수 있습니다. 결과적으로 사용자의 IP가 차단될 가능성이 높으므로 원하는 데이터를 얻지 못하게 됩니다.
스크레이퍼를 미끼로 허니팟 링크가 있는 일부 사이트는 CSS 표시 속성을 아무 것도 사용하지 않습니다. 따라서 크롤러가 보이는 링크만 따라가도록 해야 합니다. 또한 차단을 피하려면 스크랩하려는 웹사이트의 규칙과 가이드라인을 따르는 것이 가장 좋습니다.
허니팟에는 특정 위험이 있지만, 제한 사항 섹션에서 살펴본 바와 같이 이점이 위험보다 훨씬 더 큰 것은 분명합니다. 따라서 허니팟은 조직의 보안 투자를 고려할 때 필수적인 메커니즘입니다. 또한 전문 지식을 갖춘 전문가가 보안 및 허니팟 평가를 수행하는지 확인하세요.
