본문 바로가기

Python_Crawling/Crawling

[Crawling]Python Study - PPT Presentation Material - 1

Python : https://www.python.org

 

Welcome to Python.org

The official home of the Python Programming Language

www.python.org

Python Tutorial : https://docs.python.org/ko/3/tutorial/index.html

 

파이썬 자습서 — Python 3.8.1rc1 문서

파이썬 자습서 파이썬은 배우기 쉽고, 강력한 프로그래밍 언어입니다. 효율적인 자료 구조들과 객체 지향 프로그래밍에 대해 간단하고도 효과적인 접근법을 제공합니다. 우아한 문법과 동적 타이핑(typing)은, 인터프리터 적인 특징들과 더불어, 대부분 플랫폼과 다양한 문제 영역에서 스크립트 작성과 빠른 응용 프로그램 개발에 이상적인 환경을 제공합니다. 파이썬 인터프리터와 풍부한 표준 라이브러리는 소스나 바이너리 형태로 파이썬 웹 사이트, https://www.

docs.python.org

Python Code Live : http://pythontutor.com/

 

Python Tutor - Visualize Python, Java, C, C++, JavaScript, TypeScript, and Ruby code execution

VISUALIZE CODE AND GET LIVE HELP Learn Python, Java, C, C++, JavaScript, and Ruby Python Tutor (created by Philip Guo) helps people overcome a fundamental barrier to learning programming: understanding what happens as the computer runs each line of code. W

pythontutor.com

Anaconda : https://www.anaconda.com/distribution/

 

Anaconda Python/R Distribution - Free Download

Anaconda Distribution is the world's most popular Python data science platform. Download the free version to access over 1500 data science packages and manage libraries and dependencies with Conda.

www.anaconda.com

PEP 8 : https://www.python.org/dev/peps/pep-0008/

 

PEP 8 -- Style Guide for Python Code

The official home of the Python Programming Language

www.python.org

크롤러 : 원하는 정보를 자동으로 수집하는 행위

참고 : https://ko.wikipedia.org/wiki/%EC%9B%B9_%ED%81%AC%EB%A1%A4%EB%9F%AC

 

웹 크롤러 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 검색 엔진에 대해서는 웹크롤러 문서를 참조하십시오. 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생

ko.wikipedia.org

스크래퍼, , 스파이더, 지능 에이전트

클라이언트 : 웹 브라우저 및 웹

서버 : 클라이언트를 제외하고 보이지 않는 곳에서 클라이언트의 처리를 도와주는 것

크롤러를 만들어야 하는 이유 :  데이터 생산 / 데이터 사용 / 데이터 수집 방법

클라이언트(Client)

서버(Server)

언어(Language) : Python

클라이언트(Client) : 데이터, 서비스를 요청하는 프로그램

서버(Server) : 영상 서버 / 파일 서버 / 팅 및 음성 서버 / 도메인 서버 / 게임 서버 / 웹 서버

참고 : https://ko.wikipedia.org/wiki/%EC%84%9C%EB%B2%84

 

서버 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 뒤에서 볼 수 있는 오페라 서버 랙 서버(영어: server)는 클라이언트에게 네트워크를 통해 정보나 서비스를 제공하는 컴퓨터 시스템으로 컴퓨터 프로그램(server program) 또는 장치(device)를 의미한다. 특히, 서버에서 동작하는 소프트웨어를 서버 소프트웨어(server software)라 한다. 주로 리눅스 등의 운영 체제를 설치한 대형 컴퓨터를 쓰지만, 그렇지 않은 경우도 있다. 서버는 프린터 제어나 파

ko.wikipedia.org

영상 서버는 영상 전달을 전담하는 컴퓨터

기반 장치영상 서버는 여러 응용 프로그램에서 사용되며 종종 특정 응용 프로그램의 요구를 해결하는 추가 기능과

  기능이 존재

 참고 : https://ko.wikipedia.org/wiki/%EC%8A%A4%ED%8A%B8%EB%A6%AC%EB%B0%8D

 

스트리밍 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 일반적인 웹캐스트 - 임베디드 미디어 플레이어에서 스트리밍을 거치고 있다. 스트리밍(영어: streaming)은 주로 소리(음악)나 동영상 등의 멀티미디어 파일을 전송하고 재생하는 방식의 하나이다. 보통 파일은 내려받고 난 뒤에 열리는 작업을 하지만, 동영상과 같이 크기가 큰 파일을 재생할 때에는 내려 받는 데에 시간이 오래 걸릴 수 있다. 파일을 다운로드하는 것과 더불어 재생을 함으로써 기다리는 시간을 크게 줄일 수 있

ko.wikipedia.org

워크스테이션이 접근할 수 있는 컴퓨터 파일(문서, 사운드 파일, 사진, 영화, 그림, 데이터베이스 등)을 공유하고 있는

  기억 공간의 위치를 제공하는 것이 주 목적

 참고 : https://ko.wikipedia.org/wiki/%ED%8C%8C%EC%9D%BC_%EC%84%9C%EB%B2%84

 

파일 서버 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 컴퓨팅 환경에서 파일 서버(file server)는 워크스테이션이 접근할 수 있는 컴퓨터 파일(문서, 사운드 파일, 사진, 영화, 그림, 데이터베이스 등)을 공유하고 있는 기억 공간의 위치를 제공하는 것이 주 목적을 가진 네트워크에 추가된 컴퓨터를 말한다. "서버"(server)라는 용어는 클라이언트 서버 구조로 된 기기의 역할을 강조하며 여기서 클라이언트는 이 기억 공간을 사용하는 워크스테이션을 말한다. 파일 서버는 일

ko.wikipedia.org

메신저

 참고 : https://ko.wikipedia.org/wiki/%EC%9D%B8%EC%8A%A4%ED%84%B4%ED%8A%B8_%EB%A9%94%EC%8B%A0%EC%A0%80

 

인스턴트 메신저 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 초기의 인스턴트 메신징 프로그램들에서 각 문자는 입력할 때 나타났다. 이러한 스크린샷을 보여 주는 유닉스 "talk" 명령어는 1980년대와 1990년대 초에 인기를 끌었다. 인스턴트 메신저(instant messenger)는 인터넷 같은 네트워크를 이용한, 두 명 이상의 즉각적인 (실시간) 텍스트 통신에 이용되는 클라이언트이다. 간단하게 메신저라고도 하며, 인터넷을 통한 메신저라는 의미에서 인터넷 메신저, 모바일 기기를

ko.wikipedia.org

DNS

 참고 : 

 

https://ko.wikipedia.org/wiki/%EB%8F%84%EB%A9%94%EC%9D%B8_%EB%84%A4%EC%9E%84_%EC%8B%9C%EC%8A%A4%ED%85%9C

 

도메인 네임 시스템 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 도메인 네임 시스템(Domain Name System, DNS)은 호스트의 도메인 이름을 호스트의 네트워크 주소로 바꾸거나 그 반대의 변환을 수행할 수 있도록 하기 위해 개발되었다. 특정 컴퓨터(또는 네트워크로 연결된 임의의 장치)의 주소를 찾기 위해, 사람이 이해하기 쉬운 도메인 이름을 숫자로 된 식별 번호(IP 주소)로 변환해 준다. 도메인 네임 시스템은 흔히 "전화번호부"에 비유된다. 인터넷 도메인 주소 체계로서 T

ko.wikipedia.org

Game

 참고 : https://ko.wikipedia.org/wiki/%EA%B2%8C%EC%9E%84_%EC%84%9C%EB%B2%84

 

게임 서버 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 게임 서버(game server)란 멀티플레이 비디오 게임을 즐기기 위해 게임 클라이언트에 쓰이는 서버로, 자신의 컴퓨터나 다른 사람의 컴퓨터에서 실행된다. 게임 서버 호스팅[편집] 게임 서버 호스팅은 게임 서버를 운영하는 회사에서 직접 유지하거나, 게임을 즐기는 사람들이 자신의 비용으로 서버를 직접 운영한다. 게임 서버는 웹 기반 도구들을 제공하기도 하는데, 이를 통해 서버의 상태를 유지보수하기도 한다. 게임 서버의 종

ko.wikipedia.org

Web

 참고 : https://ko.wikipedia.org/wiki/%EC%9B%B9_%EC%84%9C%EB%B2%84

 

웹 서버 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 둘러보기로 가기 검색하러 가기 세계 최초의 웹 서버 웹 서버(web server)는 다음의 두 가지 뜻 가운데 하나이다. 웹 서버 : 웹 브라우저와 같은 클라이언트로부터 HTTP 요청을 받아들이고, HTML 문서와 같은 웹 페이지를 반환하는 컴퓨터 프로그램 웹 서버 (하드웨어) : 위에 언급한 기능을 제공하는 컴퓨터 프로그램을 실행하는 컴퓨터 웹 서버(Web Server)는 HTTP를 통해 웹 브라우저에서 요청하는 HTM

ko.wikipedia.org