User agent - Python Web Crawling

1. User agent?

브라우저 및 운영체제의 버전 정보를 가지고 있는 정보값

user agent를 이용하여 사이트는 그 값을 감지하고 인지한다.

2. User agent 확인방법

Chrome > F12 개발자모드 실행

Network > F5 > 최상단 사이트 클릭

Headers > Request Headers > user-agent

3. 각 브라우저별 User agent 값

브라우저	UserAgent
Internet Explorer 11	Mozilla/5.0&(Windows&NT&6.3;&WOW64;&Trident/7.0;&rv:11.0)&like&Gecko
Internet Explorer 10	Mozilla/5.0&(compatible;&MSIE 10.0;&Windows&NT&6.1;&WOW64;&Trident/6.0)
Safari (사파리)	Mozilla/5.0&(Windows&NT&6.2;&WOW64)&AppleWebKit/534.57.2& (KHTML,&like&Gecko)&Version/5.1.7&Safari/534.57.2
Chrome (크롬)	Mozilla/5.0&(Windows&NT&6.3;&WOW64)&AppleWebKit/537.36& (KHTML,&like&Gecko)&Chrome/30.0.1599.101&Safari/537.36
Opera (오페라)	Mozilla/5.0&(Windows&NT&6.3;&WOW64)&AppleWebKit/537.36& (KHTML,&like&Gecko)&Chrome/30.0.1599.101&Safari/537.36&OPR/17.0.1241.53
Firefox (파이어폭스)	Mozilla/5.0&(Windows&NT&6.3;&WOW64;&rv:24.0) &Gecko/20100101&Firefox/24.0

4. 크롤링시 반영 Code

user_agent = 'user agent 브라우저 값'
session = requests.Session()
session.headers.update({'referer': None, 'User-agent': user_agent})