안녕하세요

​신규 수강생분들과 처음부터 강의를 다시 진행하는 분들을 위한 팁을 정리했습니다.

​아고다나 쿠팡처럼 유명한 사이트들은 전국 & 전세계에서 수많은 사람들이 크롤링을 진행하기때문에 크롤링 요소가 자주 변경되고있습니다.

​크롤링 요소란 웹사이트에서 데이터를 추출할 때 사용되는 HTML 태그, 클래스명, ID 등의 선택자들을 의미하며, 웹사이트 보안과 성능 개선 또는 크롤링을 억제하기 위해 수시로 업데이트됩니다.

​따라서 안정적인 크롤링을 위해서는 이러한 변경사항을 주기적으로 체크하고 코드를 업데이트하는 것이 필수적입니다.

​또한 과도한 크롤링은 서비스를 운영하는분들에게 피해를 줄 수 있기때문에 적절한 시간 간격을 두고 필요한 데이터만 수집하는 것이 바람직합니다. 이는 서버 부하를 줄이고 웹사이트의 안정적인 운영을 도우며, 결과적으로 모두가 윈-윈할 수 있는 방법입니다.

​가장 좋은 것은 서비스 업체에서 제공해주는 정식 API를 사용하는 것입니다.

API는 안정적이고 체계적인 데이터 수집이 가능하며, 서비스 제공자의 정책을 준수하면서 필요한 정보를 얻을 수 있는 가장 이상적인 방법입니다.

​본 강의에서는 크롤링의 기본 개념을 아고다 사이트를 통해 설명하되, 실전 챌린지에서는 가능한 한 정식 API를 활용하는 방법으로 진행하고 있습니다. 아고다의 경우 전 세계적으로 크롤링이 빈번하게 이루어져 사이트 요소가 수시로 변경되는 특징이 있어, 강의 내용도 이에 맞춰 지속적으로 업데이트해 드리도록 하겠습니다.

​이 게시글에서는 아고다 크롤링을 포함하여 수월하게 강의를 진행하기위한 팁들을 정리해두었습니다.
[출처] 신규 수강생분들과 처음부터 강의를 진행하는 분들을위한 수강 팁 (투더제이) | 작성자 뚜더제이조앙