파이썬을 사용한 이메일 주소 스크래핑 - 궁극의 가이드 2024

import re
요청가져오기 
urllib.parse에서 urlsplit 가져오기 
컬렉션에서 deque를 가져옵니다.
bs4에서 BeautifulSoup를 가져옵니다.
팬더를 pd로가져 오기
google.colab에서 파일 가져오기

# 입력에서 URL 읽기
original_url = 입력("웹사이트 URL 입력: ") 
 
# 스크랩할 URL을 저장하려면
unscraped = deque([original_url])
 
# 스크랩된 URL을 저장하려면
scraped = set()
 
# 가져온 이메일 저장
emails = set()  

동안 len(unscraped):
    # unsraped_url을 scraped_urls로 옮기다 set
    url = unscraped.popleft() # popleft(): 덱의 왼쪽에서 요소를 제거하고 반환합니다.
    scraped.add(url)

parts = urlsplit(url)

base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url

try:
        response = requests.get(url)
    예외 (요청.예외.MissingSchema, 요청.예외.ConnectionError):
        # 오류가 있는 페이지를 무시하고 다음 URL로 계속 진행합니다.
       계속

# 요구 사항에 따라 정규식을 편집할 수 있습니다.
    new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", 
                  response.text, re.I)) # re.I: (대소문자 무시)
    emails.update(new_emails)

# HTML 문서에 대한 아름다운 수프를 만듭니다.
   soup = BeautifulSoup(response.text, 'lxml')

앵커의 경우 soup.find_all("a"): 
        
       # 앵커에서 링크된 URL 추출
       앵커의 "href "가 anchor.attrs:
          link = anchor.attrs["href"]
        else:
          link = ''
        
       # 상대 링크(/로 시작)를 해결합니다.
        if link.startswith('/'):
            link = base_url + link
            
        link.startswith('http')가 아닌 경우:
            link = 경로 + 링크

link.endswith(".gz" ):
         링크가 스크랩되지 않고 스크랩된 링크가 아닌 경우:
              unscraped.append(link)

df = pd.DataFrame(emails, columns=["Email"]) # 원하는 열 이름으로 바꾸기 
df.to_csv('email.csv', index=False)

google.colab에서 파일가져오기
files.download("email.csv")

import re
import requests
from urllib.parse import urlsplit
from collections import deque
from bs4 import BeautifulSoup
import pandas as pd
from google.colab import files
 
# read url from input
original_url = input("Enter the website url: ") 
 
# to save urls to be scraped
unscraped = deque([original_url])
 
# to save scraped urls
scraped = set()
 
# to save fetched emails
emails = set()  
 
while len(unscraped):
    url = unscraped.popleft()  
    scraped.add(url)
 
    parts = urlsplit(url)
        
    base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url
 
    print("Crawling URL %s" % url)
    try:
        response = requests.get(url)
    except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
        continue
 
    new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", response.text, re.I))
    emails.update(new_emails) 
 
    soup = BeautifulSoup(response.text, 'lxml')
 
    for anchor in soup.find_all("a"):
      if "href" in anchor.attrs:
        link = anchor.attrs["href"]
      else:
        link = ''
 
        if link.startswith('/'):
            link = base_url + link
        
        elif not link.startswith('http'):
            link = path + link