본문 바로가기

Programming

 (212)
Selenium 모듈 !pip install selenium from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys #driver.implicitly_wait(5) 최대지연 5초 #웹 브라우저 실행 driver = wb.Chrome() #해당 URL을 브라우저로 실행 url = 'https://www.naver.com' driver.get(url) #검색창 태그(요소) 검색 input_search = driver.find_element_by_id('query') #검색창에 검색어를 입력할 수 있음. input_search.send_keys('날씨') # 검색할 수 있는 2가지 방식 # 1. 버튼 클릭 #검색버튼 태그(요소) 검색 ..
iframe부분 크롤링 실습 # 웹 개발자도구에서 해당 iframe을 찾아 src주소를 입력해서 찾아들어가야함. import requests as req from bs4 import BeautifulSoup as bs import pandas as pd url = 'https://movie.naver.com' url_sub = '/movie/bi/mi/pointWriteFormList.nhn?code=181381&type=after&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false' url_final = url + url_sub res = req.get(url_final) soup = bs(res.con..
진행사항을 알려주는 tqdm from tqdm import tqdm_notebook movie_date = [] movie_title = [] movie_rate = [] for day in tqdm_notebook(days): url = "https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&date="+day res = req.get(url) soup = bs(res.content, 'lxml') title = soup.select('div.tit5 > a') rate = soup.find_all('td',class_='point') for index in range(len(title)): movie_date.append(day) movie_title.append(title[in..
한달동안의 영화 평점 수집 import requests as req from bs4 import BeautifulSoup as bs import pandas as pd movie_date = [] movie_title = [] movie_rate = [] for day in range(20191201,20191226,1): url = "https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&tg=0&date="+str(day) res = req.get(url) soup = bs(res.content, 'lxml') title_list = soup.select('div.tit5 > a') rate_list = soup.find_all('td',class_='point') for ind..
영화랭킹 페이지에서 제목, 평점 수집하기 import requests as req from bs4 import BeautifulSoup as bs import pandas as pd url = 'https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&date=20191228' res = req.get(url) #파서 종류 : lxml, html.parser, html5lib soup = bs(res.content, 'lxml') name = soup.select('div.tit5 > a') rate = soup.find_all('td',class_='point') len(name),len(rate) #순위, 영화제목, 평점 수집 rank_list = [] name_list = [] rating_l..
EL 기초 DBCP (실무에서 사용하는 기술) JSP & SERVELT 도서 참조 페이지 308 페이지 391~395 페이지 450 컬렉션 프레임워크 자료구조의 알고리즘을 모아놓은 것 List : 순차적으로 동일한 데이터 나열, 뒤로 추가 (List를 상속하는 ArrayList) Queue : FIFO 구조 통로 (Buffer) Stack : LIFO 구조 컵 (어플리케이션 뒤로가기 구현, 자바의 메소드 호출) Tree : node 빠져나가는 구조 Set : value(중복 불가)와 key(중복 가능)를 함께 넣는 보따리 Map : value(중복 가능)와 key(중복 불가)를 함께 넣는 보따리 (Search 기능, Map을 상속하는 HashMap) JVM의 메모리구조에서 객체는 Heap라는 공간에 계속 쌓임 Ja..
JSTL 기초 JSTL 환경설정 JSTL (폴더) > lib > jstl.jar, standard.jar파일을 web content/web-inf/lib 안으로 이동 폴더 import하기 import > general > existing projects into workspace 환경설정 패키지 우클릭 > build path > configure build path > libraries > jre system library 더블 클릭 > workspacre default jre 체크 finish 이미지 업로드를 하려면 라이브러리를 검색하여 다운받고 임포트해야한다. 이미지는 1010101010100101010101로 전송하는 양이 많아 전송하는 데이터 타입을 Multipart로 해야한다. 진짜 프로젝트 경로 C:\Use..
인코딩 방식 3 가지 # 인코딩 방식은 아래 3가지 중 한가지 사용 music.to_csv('music50.csv', encoding='euc-kr') music.to_csv('music50_utf8.csv', encoding='utf-8-sig') music.to_csv('music50_utf8.csv', encoding='')

티스토리툴바