IP 우회 관련 개념 정리(프록시, VPN, Referer, User Agent)
웹 크롤링 시 봇으로 인식되어 페이지 접속을 차단 당하는 경우가 발생한다. 해결책으로 IP, User-Agent, Referer을 변경하여 Organic Search Traffic으로 인식하게 하면 된다. 관련 배경 지식으로 Proxy Server, VPN, Referer, User Agent의 내용을 가져와 정리한다. 1. 프록시 서버(Proxy server) - 클라이언트와 서버 사이에서 데이터를 전달해 주는 서버. - 웹 캐시 기능 있는 경우가 많으며, 방식에 따라 클라이언트의 IP 주소가 서버에게 노출 가능성 있음. - 과거에는 인터넷 속도 향상을 위해 쓰였지만, 지금은 아이피 주소 우회를 위해 사용되는 경우가 많음. - 인터넷 검열이 심한 국가에서 우회하기 위해 사용. - 특정 국가로부터의 접속..