웹 크롤링

보안뉴스 웹크롤링을 완료했습니다. 파이썬을 이용하였으며 주요 기능은 오늘의 날짜를 기준으로 올라온 기사의 제목을 찾아 나열하며, 이번 주의 인기뉴스를 알려주며 원하는 기사를 검색할 수 있는 프로그램입니다. 보안뉴스는 2020.8.12일 기준으로는 웹 크롤링이 가능한 것을 알립니다. 또한, 제가 만든 프로그램은 오직 BeautifulSoup를 이용하여 만든 것이므로 많이 부족할 수 있다는 점 양해 바랍니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 6..

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697import pandas as pdimport datetimefrom bs4 import BeautifulSoup as bsfrom urllib.request import urlparseimport urllib.request as reqimport urllib def Main_Menu() : print() print("--------메뉴선택--------") print("\t1...

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970import pandas as pdimport datetimefrom bs4 import BeautifulSoup as bsfrom urllib.request import urlparseimport urllib.request as reqimport urllib def Main_Menu() : print() print("--------메뉴선택--------") print("\t1. 오늘의 주요 기사는?") print("\t2. 주간의 인기 뉴스") print("\t3. 기사 ..

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667import pandas as pdimport sys import timeimport datetimefrom bs4 import BeautifulSoup as bsimport unicodedatafrom urllib.request import urlparseimport urllib.request as reqimport urllib def Main_Menu() : print() print("--------메뉴선택--------") print("\t1. 오늘의 주요 기사는?") print..

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657#-*-coding:utf-8import pandas as pdimport sys import timeimport datetimefrom bs4 import BeautifulSoup as bsimport unicodedata import urllib.request as req def Main_Menu() : print() print("--------메뉴선택--------") print("\t1. 오늘의 주요 기사는?") print("\t2. 주간의 인기 뉴스") print("\t3. 기사 검색하기") print("\t0..

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152import pandas as pd import timeimport datetimefrom bs4 import BeautifulSoup as bs import urllib.request as req def Main_Menu() : print() print("--------메뉴선택--------") print("\t1. 오늘의 주요 기사는?") print("\t2. 주간의 인기 뉴스") print("\t3. 기사 검색하기") print("\t0. 종료하기") print("----------------------") def Today_Mai..

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354import pandas as pd import timeimport datetimefrom bs4 import BeautifulSoup as bs import urllib.request as req def Main_Menu() : print() print("--------메뉴선택--------") print("\t1. 오늘의 주요 기사는?") print("\t2. 주간의 인기 뉴스") print("\t3. 기사 검색하기") print("\t0. 종료하기") print("----------------------") def Today..