본문 바로가기

크롤링6

4-14 4주차 마무리 연습_ 팬명록 1) 응원 남기기(POST): 정보 입력 후 '응원 남기기' 버튼클릭 시 주문목록에 추가 2) 응원 보기(GET): 페이지 로딩 후 하단 응원 목록이 자동으로 보이기 완성본: http://spartacodingclub.shop/web/homework 완성코드: app.py from flask import Flask, render_template, request, jsonify app = Flask(__name__) from pymongo import MongoClient client = MongoClient("내 URL") db = client.sparta @app.route('/') def home(): return render_template('index.html') @app.route("/homew.. 2022. 5. 23.
4-10 [스파르타피디아] _ meta 태그 스크래핑 URL만 입력해도 아래처럼 자동으로 제목 이미지 내용이 모두 나타난다. 'meta' 태그를 스크래핑으로 가능 볼때마다 신기했는데 어떻게 하는지 알게되었다 신기하다👉👈 ... meta 태그? ▶ 부분에 들어가는, 눈으로 보이는 것(body) 외에 사이트의 속성을 설명해주는 태그들 예) 구글 검색 시 표시 될 설명문, 사이트 제목, 카톡 공유 시 표시 될 이미지 등 크롤링 대상 >> og:image / og:title / og:description >> 크롤링기본코드 : import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.naver?code=191597' headers = {'User-Age.. 2022. 5. 19.
BeautifulSoup 크롤링 기본코드 import requests from bs4 import BeautifulSoup url = 'http://www. 롤링할 웹페이지 URL 입력/com/movie~~~' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기부터 코딩시작 2022. 5. 19.
3-15 3주차 마무리 연습_ Genie홈페이지에서 데이터 크롤링 완성코드 import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') songs = soup.select('#body-content > div.newest-list > .. 2022. 5. 17.