susinlee 님의 블로그

목차채용 공고 크롤링엑셀로 보기 좋게 저장구글 빅쿼리에 적재태블로로 시각화자동화1. 채용 공고 크롤링from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport timeimport pandas as pdfrom tqdm..

웹 크롤링 & 웹 스크래핑 기초웹 스크래핑(Web Scraping)정의: 특정 웹페이지의 HTML 소스에서 필요한 데이터를 추출해 구조화된 형태로 저장하는 작업사용 목적: 웹사이트에서 텍스트, 이미지, 가격, 댓글 등 필요한 데이터 수집예시: 무신사 상품명과 가격 데이터를 CSV로 저장웹 크롤링(Web Crawling)정의: 링크를 따라가며 여러 페이지를 자동으로 탐색하고 데이터를 수집하는 과정사용 목적: 방대한 페이지를 자동화하여 데이터 수집예시: 특정 블로그의 모든 게시글 크롤링차이점크롤링: 페이지 탐색 자동화스크래핑: 실제 데이터를 추출하는 과정웹 크롤링과 스크래핑을 배워야 하는 이유데이터 수집 능력 강화공공 데이터 외에도 실시간 웹 데이터를 활용 가능전처리 경험 확대HTML 구조 해석, 텍스트 파..