본문 바로가기

Python_Crawling/Crawling

190224> Python-NaverNews 사진 + 뉴스 제목 + 요약 + 제공자 크롤링

반응형

Q.


네이버 뉴스 중 속보에 해당하는 사진 + 뉴스 제목 + 요약 + 제공자를 크롤링 해보자.


A.

import requests
from bs4 import BeautifulSoup

r = requests.get("https://news.naver.com/main/list.nhn?mode=LSD&mid=sec&sid1=100")
c = r.content
soup = BeautifulSoup(c, "html.parser")

all=soup.find("ul",{"class":"type06_headline"})
# print(all)

all2 = all.find_all(."li")
# print(all2[0])

for item in all2:
try:
img = item.find("dt",{"class":"photo"})
img2 = img.find("img")["src"]
title = item.find("dt", "").find("a").text.strip("\n\t\r ") # 뉴스 제목 추출하기
body = item.find("span", {"class": "lede"}).text # 뉴스 내용 요약 추출하기
writer = item.find("span", {"class": "writing"}).text # 뉴스 제공자
print(img2, title, body, writer)
except:
print("No image")


O.

https://imgnews.pstatic.net/image/origin/018/2019/02/24/4317012.jpg?type=ofullfill106_72 민생법안 처리 급하다더니…멀고 먼 국회 정상화 지난 18일 국회에서 열린 3당 원내대표 회동 모습. 왼쪽부터 나경원 자유한국당 , 홍영표 더불어민주당 , 김관영 바른미래당 원 … 이데일리

No image

https://imgnews.pstatic.net/image/origin/422/2019/02/24/362823.jpg?type=ofullfill106_72 한국당 지지층서 황교안 지지도 60.7%로 1위 한국당 지지층서 황교안 지지도 60.7%로 1위 자유한국당 전당대회에 출마한 당대표 후보 중 황교안 후보가 당 지지층으로부터 6 … 연합뉴스TV

https://imgnews.pstatic.net/image/origin/009/2019/02/24/4309505.jpg?type=ofullfill106_72 홍콩언론 "중국, 미국에 대두 1000만t 추가 구매 약속" 미국과 중국이 무역협상을 연장하면서 협상 타결에 대한 기대감이 커진 가운데 중국이 미국에 대규모 농산물 구매를 약속했다고 홍콩  … 매일경제

No image

https://imgnews.pstatic.net/image/origin/047/2019/02/24/2218406.jpg?type=ofullfill106_72 나경원 "인내심 한계 넘어 분노"... 2월 임시국회 무산 선언 24일 긴급 기자간담회 '손혜원 국정조사' 등 재차 요구, 선거제도 개혁 관련 "밥그릇 싸움" 일축 [오마이뉴스 곽우신 기자]  … 오마이뉴스

https://imgnews.pstatic.net/image/origin/011/2019/02/24/3510572.jpg?type=ofullfill106_72 [2차 북미정상회담 D-2] 멜라니아·리설주 '퍼스트레이디 첫 만남' 무산될 듯 [서울경제] 제2차 북미정상회담이 임박한 가운데 관심을 끌었던 멜라니아 트럼프 여사와 리설주 여사의 만남은 이번에도 이뤄지지 않 … 서울경제

https://imgnews.pstatic.net/image/origin/016/2019/02/24/1502928.jpg?type=ofullfill106_72 오세훈 “황교안 태블릿PC 조작설 인정, 지도자 결격사유” [헤럴드경제=모바일섹션] 자유한국당 전당대회에 출마한 오세훈 당대표 후보는 24일 태블릿PC 조작설을 인정한 황교안 당대표 후보 … 헤럴드경제

No image

https://imgnews.pstatic.net/image/origin/011/2019/02/24/3510571.jpg?type=ofullfill106_72 [2차 북미정상회담 D-2] 金 "내 아이들, 핵 안고 사는 것 원치 않아" [서울경제] 북미정상회담을 막후에서 주도했던 앤드루 김 전 CIA 코리아미션센터장(KMC)은 지난 22일(현지시간) 김정은 북한 … 서울경제


Process finished with exit code 0

반응형