인스타그램 크롤링 후, 검색 기능을 잃다
결론부터 말하자면,
내 인스타그램은 현재 검색기능이 작동하지 않는다.
현재 나는 회귀분석 프로젝트를 하고 있다.
프로젝트를 위해서 여러가지 데이터를 모으던 중,
인스타그램의 데이터가 필요해 데이터 크롤러를 만들게 되었다.
인스타그램은 로그인 없이 2번까지 검색을 할 수 있게 해준다.
하지만 긁어야하는 데이터가 500개였기에 나는 로그인을 자동으로 하는 기능을 추가하게 되었다.
그러던 중, 인스타그램에서 몇 번 이상 검색을 하게 되면 위와 같은 오류페이지를 던진다는 것을 알게 되었다.
20~30번까지는 문제 없이 수집하다가 위와 같은 오류페이지가 뜨는 것을 확인하였고,
안전하게 10번씩 끊어서 하도록 설정해서 했너니 문제가 생기지 않았다.
생각했던 것보다 뭔가 일이 수월하게 풀리는 것 같았다.
잠시 뿌듯한 마음을 만끽하는 듯 했지만…
인스타그램은 역시 인스타그램이었고,
대기업이었고 호락호락한 상대가 아니었다.
크롤링이 무난하게 180개를 넘어서더니, 1차 오류가 발생하였다.
지정해줬던 특정 정보를 잘 가지고 오던 크롤러는 검색 결과로 내용이 없는 데이터를 수집하기 시작했다. 내가 원하는 데이터의 위치가 인스타그램 페이지 내부에서 바뀌었던 것이다.
이 상태로 200개를 더 검색했다.
어차피 자동으로 돌아가는 코드였기에 신경을 안쓰다 확인을 한 결과, 인스타그램은 내 계정으로 실행되던 코드가 자동화된 코드라는 것을 인지 하였고, 내 계정으로는 더 이상 검색화면이 들어가지지 않았다.
심지어 내 계정 페이지도 들어가지지 않았다.
나중에 찾아보니 정책에 인스타그램 내에서의 크롤링은 금지되어 있었다.
(아마 알았으면 내 아이디 안들어가는 크롤러를 만들었겠지… 뭐 아예 안 만들었을 수도 있고…)
정책의 존재를 모르고, 크롤링을 했고, 결국 내 인스타는 검색 기능을 잃었고…
결론은….
인스타그램님, 너가 최고인거 잘 알았고,
정말 다시는 절대로 아마 안할테니까
나랑 거리두기 그만하고
빨리 내 계정 풀어주세요
