스크래핑3 4-10 [스파르타피디아] _ meta 태그 스크래핑 URL만 입력해도 아래처럼 자동으로 제목 이미지 내용이 모두 나타난다. 'meta' 태그를 스크래핑으로 가능 볼때마다 신기했는데 어떻게 하는지 알게되었다 신기하다👉👈 ... meta 태그? ▶ 부분에 들어가는, 눈으로 보이는 것(body) 외에 사이트의 속성을 설명해주는 태그들 예) 구글 검색 시 표시 될 설명문, 사이트 제목, 카톡 공유 시 표시 될 이미지 등 크롤링 대상 >> og:image / og:title / og:description >> 크롤링기본코드 : import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.naver?code=191597' headers = {'User-Age.. 2022. 5. 19. 3-8 웹스크래핑 연습 웹스크래핑으로 (순위 제목 별점) 출력 웹사이트 : 결과 : 완성코드: import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') #old_cont.. 2022. 5. 16. 3-7 웹스크래핑 (크롤링)기초_ beautifulsoup / select & select_one 웹크롤링/스크래핑 이 뭔지 감이 너무 안와서, 인터넷 뒤져봄... 내가 이해한것: 코딩하기 위해 필요한 데이터를 수집해서 (크롤링) 추출해 가져오는것(스크래핑). 뉴스기사 분석 / 음악 & 영화 차트 순위 자료 등등을 위해 사용 ----나중에 정확한 개념을 알게 되면 다시 수정하러 와야지...ㅎ 사용한 웹크롤링 모듈: BeautifulSoup ▶ 기본 세팅 코드 import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data .. 2022. 5. 16. 이전 1 다음
