-->

⏱️ 예상 읽기 시간: 15분

AutoScraper란 무엇인가?

AutoScraper는 웹 스크래핑을 혁신적으로 단순화한 Python 라이브러리입니다. 전통적인 웹 스크래핑에서는 복잡한 CSS 선택자나 XPath를 사용해 데이터를 추출해야 했지만, AutoScraper는 머신러닝을 활용해 스크래핑 규칙을 자동으로 학습합니다.

주요 특징

  • 자동 규칙 학습: 원하는 데이터 샘플만 제공하면 자동으로 스크래핑 규칙을 학습
  • 빠르고 가벼움: 최적화된 알고리즘으로 빠른 처리 속도
  • 유연한 사용: 텍스트, URL, HTML 태그 값 등 다양한 데이터 타입 지원
  • 모델 저장/로드: 학습된 모델을 저장하고 재사용 가능

설치 방법

AutoScraper는 pip를 통해 쉽게 설치할 수 있습니다:

# PyPI에서 설치
pip install autoscraper

# 또는 최신 버전을 GitHub에서 직접 설치
pip install git+https://github.com/alirezamika/autoscraper.git

기본 사용법

1. 유사한 결과 가져오기

StackOverflow 페이지에서 관련 질문 제목들을 추출하는 예제입니다:

from autoscraper import AutoScraper

url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'

# 추출하고 싶은 데이터의 샘플을 제공
wanted_list = ["What are metaclasses in Python?"]

scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result)

출력 결과:

[
    'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?', 
    'How to call an external command?', 
    'What are metaclasses in Python?', 
    'Does Python have a ternary conditional operator?', 
    'How do you remove duplicates from a list whilst preserving order?', 
    'Convert bytes to a string', 
    'How to get line count of a large file cheaply in Python?', 
    "Does Python have a string 'contains' substring method?", 
    'Why is "1000000000000000 in range(1000000000000001)" so fast in Python 3?'
]

이제 학습된 scraper 객체를 사용해 다른 StackOverflow 페이지에서도 유사한 내용을 추출할 수 있습니다:

# 다른 페이지에서도 유사한 결과 추출
result = scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string')

2. 정확한 결과 가져오기

Yahoo Finance에서 실시간 주식 가격을 스크래핑하는 예제입니다:

from autoscraper import AutoScraper

url = 'https://finance.yahoo.com/quote/AAPL/'
wanted_list = ["124.81"]  # 실제 가격으로 업데이트 필요

scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result)

이제 다른 주식 심볼의 가격도 쉽게 가져올 수 있습니다:

# Microsoft 주식 가격 가져오기
result = scraper.get_result_exact('https://finance.yahoo.com/quote/MSFT/')

3. 여러 데이터 동시 추출

GitHub 저장소 페이지에서 여러 정보를 동시에 추출하는 예제입니다:

from autoscraper import AutoScraper

url = 'https://github.com/alirezamika/autoscraper'
wanted_list = [
    'A Smart, Automatic, Fast and Lightweight Web Scraper for Python',  # 설명
    '6.2k',  # 스타 수
    'https://github.com/alirezamika/autoscraper/issues'  # 이슈 링크
]

scraper = AutoScraper()
scraper.build(url, wanted_list)

# 정확한 순서로 데이터 추출
result = scraper.get_result_exact('https://github.com/another-repo')

고급 사용법

프록시 및 커스텀 헤더 사용

from autoscraper import AutoScraper

url = 'https://example.com'
wanted_list = ["sample data"]

# 프록시 설정
proxies = {
    "http": 'http://127.0.0.1:8001',
    "https": 'https://127.0.0.1:8001',
}

# 커스텀 헤더 설정
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

scraper = AutoScraper()
result = scraper.build(
    url, 
    wanted_list, 
    request_args=dict(proxies=proxies, headers=headers)
)

HTML 콘텐츠 직접 사용

URL 대신 HTML 콘텐츠를 직접 사용할 수도 있습니다:

html_content = """
<html>
<body>
    <h1>제목</h1>
    <p>내용</p>
</body>
</html>
"""

scraper = AutoScraper()
result = scraper.build(html=html_content, wanted_list=["제목"])

모델 저장 및 로드

학습된 모델을 저장하고 나중에 재사용할 수 있습니다:

# 모델 저장
scraper.save('my-scraper-model')

# 모델 로드
scraper = AutoScraper()
scraper.load('my-scraper-model')

# 로드된 모델로 스크래핑
result = scraper.get_result_exact('https://new-url.com')

실전 프로젝트 예제

뉴스 헤드라인 수집기

from autoscraper import AutoScraper
import json

def collect_news_headlines():
    scraper = AutoScraper()
    
    # 학습용 데이터
    url = 'https://news.ycombinator.com/'
    wanted_list = ["Sample headline text"]
    
    # 모델 학습
    scraper.build(url, wanted_list)
    
    # 여러 뉴스 사이트에서 헤드라인 수집
    news_sites = [
        'https://news.ycombinator.com/',
        'https://www.reddit.com/r/programming/',
        'https://dev.to/'
    ]
    
    all_headlines = []
    for site in news_sites:
        headlines = scraper.get_result_similar(site)
        all_headlines.extend(headlines)
    
    return all_headlines

# 실행
headlines = collect_news_headlines()
print(f"총 {len(headlines)}개의 헤드라인을 수집했습니다.")

제품 가격 모니터링

from autoscraper import AutoScraper
import time
import json

class PriceMonitor:
    def __init__(self):
        self.scraper = AutoScraper()
        self.setup_scraper()
    
    def setup_scraper(self):
        # Amazon 제품 페이지로 학습
        url = 'https://www.amazon.com/dp/B08N5WRWNW'  # 예시 제품
        wanted_list = ["$299.99"]  # 실제 가격으로 업데이트
        
        self.scraper.build(url, wanted_list)
    
    def monitor_price(self, product_url):
        try:
            result = self.scraper.get_result_exact(product_url)
            if result:
                return {
                    'url': product_url,
                    'price': result[0],
                    'timestamp': time.time()
                }
        except Exception as e:
            print(f"가격 모니터링 오류: {e}")
            return None
    
    def save_price_data(self, price_data, filename='price_history.json'):
        try:
            with open(filename, 'r') as f:
                data = json.load(f)
        except FileNotFoundError:
            data = []
        
        data.append(price_data)
        
        with open(filename, 'w') as f:
            json.dump(data, f, indent=2)

# 사용 예제
monitor = PriceMonitor()
price_data = monitor.monitor_price('https://www.amazon.com/dp/B08N5WRWNW')
if price_data:
    monitor.save_price_data(price_data)
    print(f"현재 가격: {price_data['price']}")

성능 최적화 팁

1. 배치 처리

def batch_scrape(urls, wanted_list):
    scraper = AutoScraper()
    
    # 첫 번째 URL로 학습
    scraper.build(urls[0], wanted_list)
    
    # 나머지 URL들을 배치로 처리
    results = []
    for url in urls[1:]:
        result = scraper.get_result_similar(url)
        results.append({'url': url, 'data': result})
    
    return results

2. 에러 처리

def safe_scrape(url, wanted_list, max_retries=3):
    scraper = AutoScraper()
    
    for attempt in range(max_retries):
        try:
            result = scraper.build(url, wanted_list)
            return result
        except Exception as e:
            print(f"시도 {attempt + 1} 실패: {e}")
            if attempt == max_retries - 1:
                return None
            time.sleep(2 ** attempt)  # 지수 백오프

주의사항 및 모범 사례

1. 웹사이트 정책 준수

  • robots.txt 확인: 웹사이트의 robots.txt 파일을 확인하고 규칙을 준수하세요
  • 요청 빈도 제한: 과도한 요청으로 서버에 부하를 주지 않도록 적절한 지연 시간을 설정하세요
  • User-Agent 설정: 적절한 User-Agent를 설정해 정상적인 브라우저 요청처럼 보이게 하세요

2. 데이터 검증

def validate_scraped_data(data, expected_fields):
    """스크래핑된 데이터의 유효성을 검사합니다."""
    if not data:
        return False
    
    for field in expected_fields:
        if field not in data or not data[field]:
            return False
    
    return True

3. 로깅 및 모니터링

import logging

# 로깅 설정
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('scraper.log'),
        logging.StreamHandler()
    ]
)

def scrape_with_logging(url, wanted_list):
    logging.info(f"스크래핑 시작: {url}")
    
    try:
        scraper = AutoScraper()
        result = scraper.build(url, wanted_list)
        logging.info(f"성공적으로 {len(result)}개 항목 추출")
        return result
    except Exception as e:
        logging.error(f"스크래핑 실패: {e}")
        return None

결론

AutoScraper는 웹 스크래핑을 혁신적으로 단순화한 강력한 도구입니다. 머신러닝을 활용한 자동 규칙 학습으로 복잡한 CSS 선택자나 XPath 없이도 원하는 데이터를 쉽게 추출할 수 있습니다.

주요 장점

  • 학습 곡선이 낮음: 복잡한 웹 스크래핑 지식 없이도 사용 가능
  • 유연성: 다양한 웹사이트와 데이터 타입에 적용 가능
  • 재사용성: 한 번 학습한 모델을 여러 사이트에서 재사용
  • 확장성: 대규모 스크래핑 작업에 적합

활용 분야

  • 데이터 수집: 뉴스, 상품 정보, 가격 데이터 수집
  • 모니터링: 웹사이트 변화 추적
  • 연구: 웹 데이터 분석 및 연구
  • 비즈니스: 경쟁사 분석, 시장 조사

AutoScraper를 활용하면 웹 스크래핑의 복잡성을 크게 줄이고, 더 많은 시간을 데이터 분석과 인사이트 도출에 집중할 수 있습니다.

웹 스크래핑 프로젝트를 시작할 때 AutoScraper를 고려해보세요. 단 몇 줄의 코드로 강력한 스크래핑 시스템을 구축할 수 있습니다.

참고 자료:

참고