web crolling2 Pandas(3) **데이터 수집 1.검색어를 입력받아서 신문 기사를 스크램핑해서 파일에 저장하기 1) 필요한 패키지 =>request:검색어가 한글이라면 인코딩을 하기 위해서 =>requests:웹의 문자열을 읽어오기 위한 패키지, 기본 패키지가 아니라 설치 해야함 =>beautifulsoup:HTML 문자열에서 원하는 데이터를 추출하기 위해서 필요한 패키지, 기본 패키지가 아니라서 설치를 해야함 2)URL확인 https://www.donga.com/news/search?query=%EC%9C%A0%EC%9E%AC%EC%84%9D&sorting=1&check_news=91&search_date=1&v1=&v2=&more=1 =>query:검색어 =>sorting,check_news,search_date 3)URL 확인을.. 2024. 2. 13. Web crolling이라 쓰고 사실 scraping인 멜론 TOP#100 웹 크롤링이란? 'URL을 탐색해 반복적으로 링크를 가져오는 과정'입니다.웹 크롤링은 단어 자체에서 보다시피 웹페이지를 찾아다니며 정보를 수집합니다. 대표적인 웹 크롤링으로는 검색엔진의 웹 크롤러가 하는 일을 예로 들 수 있습니다.웹 크롤러는 URL을 수집하고 웹 페이지를 복사하여, 수집한 웹 페이지에 index을 부여해 사용자에게 더 신속하게 정보를 제공합니다. 웹 스크래핑이란? '우리가 정한 웹 페이지에서 데이터를 추출하는 것'입니다. 우리가 특정 주제의 뉴스만을 가져오거나, 인기검색어 정보를 가져오는 것, 어떤 상품의 가격을 모니터링하는 것 모두 웹 스크래핑입니다. 웹 스크래핑을 웹 데이터 추출, 웹 하베스팅이라고도 부릅니다. 웹 크롤링과 웹 스크래핑은 모두 정보를 추출해온다는 데서는 공통점을 지니.. 2023. 12. 29. 이전 1 다음
