[1강] 왜 Flask 서버를 사용하여 크롤링을 할까요?

[1강] 크롤링 할때 Flask 서버 만드는 이유는?

크롤링은 웹사이트에서 데이터를 수집하는 프로세스로, 이를 통해 웹페이지의 텍스트, 이미지, 링크 등을 가져올 수 있습니다. 여러 가지 이유로 크롤링을 필요로 할 수 있지만, 크롤링할 때 자체적인 서버를 만들어서 수행하는 것이 중요합니다. 그렇다면 크롤링할 때 Flask 서버를 만드는 이유는 무엇일까요?

1. 합법적인 방법으로 크롤링하기
크롤링은 웹사이트의 데이터를 가져오는 행위로써, 웹사이트의 소유자들이 이를 막기 위해 특정 조치를 취하기도 합니다. 이를 방지하기 위해 웹사이트의 허가를 받아야하며, 일반적으로 이를 위해 서버를 구축하고 웹사이트 소유자에게 요청을 보내야 합니다. Flask 서버를 이용하면 이런 작업을 보다 손쉽게 할 수 있습니다.

2. 데이터 캐싱
데이터를 수집할 때 매번 웹사이트에 요청을 보내는 것은 비효율적입니다. 데이터를 캐싱하여 로컬에 저장하고, 필요할 때마다 이를 활용하는 것이 좋습니다. Flask 서버를 통해 데이터를 캐싱하고 필요할 때마다 서버에 접근하여 빠르게 데이터를 가져올 수 있습니다.

3. 데이터 정제 및 가공
크롤링한 데이터를 그대로 사용하는 것은 어렵습니다. 데이터를 정제하고 가공하여 필요한 정보만을 추출해야합니다. Flask 서버를 통해 데이터를 받아서 분석하여 필요한 값만을 추출할 수 있습니다.

4. 보안 및 안정성
크롤링한 데이터를 저장하고 다루는 것은 보안에 민감한 작업입니다. Flask 서버는 보안적인 측면을 고려하여 안전하게 데이터를 저장하고 관리할 수 있습니다. 또한 서버를 통해 데이터를 요청하고 받는 것은 안정적인 방법입니다.

요약하자면, 크롤링할 때 Flask 서버를 만드는 이유는 데이터를 합법적인 방법으로 수집하기 위해, 데이터를 캐싱하여 효율적으로 관리하기 위해, 데이터를 정제하고 가공하기 위해, 보안과 안정성을 고려하기 위해 등 다양한 이유가 있습니다. Flask 서버를 통해 크롤링 작업을 더욱 효과적이고 안정적으로 수행할 수 있습니다.