[Phython & BigData] 파이썬으로 크롤링하기 LV 1

[Phython & BigData] 파이썬으로 크롤링하기 LV 1

참조한 블로그 주소

https://rednooby.tistory.com/102

https://askdjango.github.io/lv1/

해당 사이트의 LV1 크롤링 예제를 풀이해봤다.

import requests from bs4 import BeautifulSoup from requests.api import request #해당 url을 입력하는게 번거로워 변수에 담기 url = 'https://askdjango.github.io/lv1/' #해당 Url의 통신상태값을 확인 response = requests.get(url) #통신값을 text에 담기 html = response.text #bs 모듈을 사용해 사람이 html형식으로 리턴 soup = BeautifulSoup(html,'html.parser') #문서 전체가 아닌 항목들의 이름과 Url값을 받아와야 함 #for문을 사용해서 li class=course 라는 이름을 가진 항목들을 하나씩 출력한다. #a[href]를 사용한 이유는 url도 가져오기 위해서인데.. 아쉽게도 내 생각처럼 안됐다. #>.text로 하면 텍스트로 인식되는 객체만 가져오기 때문. .text를 없애면 url도 나오지만 형식이 이상함 for tag in soup.select('li[class=course]>a[href]'): print(tag.text)

실행값

장고 2.0 주요 변경내역 살펴보기 (기초편) 장고 차근차근 시작하기 2/E (중급편) 장고 기본인증 뽀개기 (중급편) 장고 Form/ModelForm 제대로 알고 쓰기 (중급편) 클래스 기반 뷰 잘 알고 쓰기 (배포) 빠르게 살펴보는 Azure PaaS를 활용한 인프라 스트레스없는 웹서비스 배포 (초급) Pandas 워밍업 (초급) 10 Minutes to Pandas 따라하기 Google Dialogflow와 파이썬/장고를 활용하여, 카카오톡 챗봇 만들기 (초급편) 개발환경 구축하기 파이썬 차근차근 시작하기 크롤링 차근차근 시작하기 파이썬으로 업무 자동화 장고 - 기본편 장고걸스 튜토리얼 장고 - Form/ModelForm 잘 알고 쓰기 장고 - 클래스 기반 뷰. 잘 알고 쓰기 장고 - 결제 시스템 연동 장고 - 웹 프론트엔드 시작편 장고 - 다양한 위젯 만들기 장고 - API 서버 만들기 및 초간단 안드로이드 앱 만들기 장고 - 하이브리드 앱 만들기 장고 - 서비스 배포하기 장고 - 실전편 (Feat. 배달의 민족 St. 만들기) 장고 - 실전편 (Feat. 인스타그램 St. 만들기)

from http://ggparkitbank.tistory.com/95 by ccl(A) rewrite - 2021-12-08 09:01:33