데이터 스토리 다비(DAVI)

구글 알리미에 이어서 이번에는 네이버 금융의 주가 정보를 크롤링하겠습니다. [결과파일] 자세한 내용은 유튜브 동영상과 위키독스 교재(https://wikidocs.net/163241)를 참고해주세요. 크롬 개발자 도구 활용: 네이버 금융 페이지에서 주가 정보를 찾기 위해 크롬 개발자 도구를 사용해 HTML 파일 구조와 네트워크 요청을 분석합니다. 필요한 데이터가 포함된 정확한 URL을 찾아 이를 크롤링하는 데 사용합니다.주가 정보 크롤링: 네이버 금융의 일별 시세 데이터를 엑셀 파워쿼리로 가져옵니다. 복사한 URL을 엑셀 파워쿼리에 입력하고 필요한 데이터를 수집합니다.

다음 뉴스에 이어서 이번에는 구글 알리미를 이용하여뉴스를 크롤링하겠습니다. [결과파일] https://youtu.be/lNTP9bxiyMM  자세한 내용은 유튜브 동영상과 위키독스 교재(https://wikidocs.net/163051)를 참고해주세요.Google 알리미 설정: 구글 알리미 페이지에서 키워드를 설정해 알림을 받도록 설정합니다. 예시는 '삼성전자' 키워드로 설명하며, 로그인 후 RSS 피드를 설정해야 엑셀에서 데이터를 수집할 수 있습니다.엑셀 파워쿼리로 RSS 데이터 수집: XML 형식의 데이터를 파워쿼리로 불러와 변환 작업을 거쳐 엑셀로 가져옵니다. 각 단계에서 필요한 데이터를 선택하고 불필요한 열을 제거하며, HTML 태그나 엔티티를 제거해 데이터를 정리합니다.다른 키워드 데이터 통합:..

롯데시네마 영화랭킹 크롤링에 이어서 다음 뉴스를 크롤링하겠습니다. [결과파일] https://youtu.be/2dRIeypvaWE   오늘은 위키독스교재와 별도로 실습 예제를 준비했습니다. 유튜브 동영상을 따라서 함께 실습하시겠습니다.크롤링 : 다음 뉴스 페이지의 URL을 엑셀 파워쿼리에 입력해 웹과 연결하여 데이터를 가져옵니다.결과 확인 : 엑셀에서 데이터를 잘 불러왔는지 확인합니다.새로 고침 기능 : 새로 고침 기능을 통해 최신 데이터를 쉽게 업데이트할 수 있습니다.이번에는 최신순 뉴스를 수집하겠습니다. [결과파일]URL 변환 : 다음 뉴스 페이지의 URL이 어떻게 바뀌는지 확인합니다. 최신순과 정확도순으로 바꿔서 페이지가 어떻게 바뀌는지 확인한 다음 최신순 URL을 복사합니다.쿼리 복제 : 쿼리를 ..

누구나 할 수 있는 쉬운 엑셀 크롤링입니다. [결과 파일] https://youtu.be/6EN92868e40  엑셀 파워쿼리(Power Query)를 활용하여 웹페이지에서 HTML Table 형식의 데이터를 수집하고 엑셀로 불러와 정리하는 방법을 설명하겠습니다. 자세한 내용은 유튜브 동영상과 위키독스 교재(https://wikidocs.net/162983)를 참고해주세요.데이터 수집 과정: 롯데시네마 영화랭킹 페이지의 URL을 엑셀 파워쿼리에 입력해 웹과 연결하여 데이터를 가져옵니다.데이터 변환: 데이터를 단순히 로드하는 대신 '데이터 변환'을 통해 필요한 수정 작업을 거칩니다. 예를 들어, 순위를 추가하고 사용하지 않는 열을 제거한 후 열의 이름을 영화제목, 상영시간, 순위로 수정합니다.데이터 정리 ..