Web 데이터 형식 xml / json / yaml / csv / tsv / excel / pdf 등등... text 형식 / Binary 형식 텍스트 데이터 : 일반적으로 에디터로 편집할수 있는 데이터 포맷 자연어(한국어,영어,중국어,일어,영어 등등...)와 숫자 특수문자 :탭,줄바꿈 제어 문자들 예 -> XML/JSON / YAML / CSV (text) 바이너리 데이터 : 문자와 상관없이 데이터를 사용할수 있는 데이터 텍스트 형식의 장점 : 편집을 쉽게 할수 있다. 설명을 포함해서 쓸수 있기때문에 가독성이 좋다. 텍스트 형식의 단점 : 보안성이 떨어진다. 바이너리 데이터 데이터 크기가 크다. 바이너리 데이터 장점 : 데이터 크기가 작다 . 보안성이 좋다. 단점 에디터를 편집할수 없다 . 어떤 데이터..

www.data.go.kr/ 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 회원가입후 원하는 데이터를 활용신청하여 인증키를 발급후 원하는데이터를 제공받는다 from bs4 import BeautifulSoup import urllib.request as req import os.path #XML 제공해주는 url 과 인증키를 넣어주면된다 url ="" fileName = "test1.xml" if not os.path.exists(fileName): req.urlretrieve(url, fileName) # 다운받은..

from selenium import webdriver #driver 연결 driver =webdriver.Chrome("C:/Users/cpt45/Downloads/selenium/chromedriver_win32/chromedriver") # 대기 driver.implicitly_wait(4) # 아이디와 비밀번호를 담을 변수 userid="cpt456@gmail.com" password="" #데이터를 넣을 주소선언 url_login ="https://www.tistory.com/auth/login/old?redirectUrl=https%3A%2F%2Fwww.tistory.com%2F" #주소이동 driver.get(url_login) # 태그의 id 값을 찾아 지정한 값을 넣음 text = dri..

selenium 웹브라우저를 컨트롤 하여 웹 자동화 하는 도구 중에 하나이다. 가장 원초적인 자동화는 화면의 좌표를 기준으로 한 자동화 selenium 도구를 이용하는 웹 자동화 윈도우즈의 자동화 작업의 자동화 WebDriver.Firefox WebDriver.Chrom WebDriver.le WebDriver.OPera WebDriver.PhanthomJS PhantomJS CTL 형식의 웹브라우저 github.com/mozilla/geckodriver/releases Releases · mozilla/geckodriver WebDriver for Firefox. Contribute to mozilla/geckodriver development by creating an account on GitHub..

from bs4 import BeautifulSoup import urllib.request as rq rssURL ="https://finance.naver.com/marketindex/" HTML = rq.urlopen(rssURL) # HTML = request.urlopen(rssURL) # #html 분석하기 soup = BeautifulSoup(HTML,"html.parser") #subject =soup.select("div.LecList2 > ul.subject > li") title = soup.select("h3.h_lst > span.blind") value=soup.select("span.value")#가격 print("1번:"+title[1].string) print("2번:"+t..

www.anaconda.com/products/individual/download-success Anaconda | Get Started Anaconda is the birthplace of Python data science. We are a movement of data scientists, data-driven enterprises, and open source communities. www.anaconda.com 사이트접속후 아나콘다설치 #python 데이터 시각화 #Big Data #수집 , 분석 (규칙성) , 활용 #인공지능 -> 머신러닝 -> 딥러닝 #스크레이핑 웹사이트에 있는 특정정보를 추출하는기술 #크롤링 프로그램이 웹사이트를 정지적으로 돌며 정보를 추출하는 기술 #urllib http ..