1. 동기 : 그냥 아무 생각 없다. 회사에서 맡은 업무는 SVR+인프라이고 주로 하는 일이 크롤러 스케쥴 및 DB 관리이다 보니 생각난 아이디어다.
2. 아이템 : 무신사 크롤링, 그러니까 제일 핫한 아이템을 찾을 생각이다. 물론 여러모로 잘 팔리는 각각의 아이템은 있겠지만, 사실 전체 아이템으로 뭐가 잘 팔리는지 { ex) 2020 F/W시즌 블레이저 }는 알기 쉽지 않다. 그러니까 내가 만들 생각이다. 그 기준은 아마도 후기의 양이 될 것이다. 이번 가을 유행하는 옷이 뭐가 될 지는 잘 모르겠지만, 만약 트러커와 리얼레더자켓이라 해보자. 물론, 많이 만들면 후기 또한 많아져서 괜찮아지겠지만, 그 또한 유행한다는 뜻이 아닐까. 일단 이걸로 시작하려 한다. 다른 크롤링 아이디어가 떠오르면 추가하면 된다.
3. 필요 기술 :
i) 크롤러 : RaspberryPi + Go - 라즈베리파이는 성능이 구리다 + Go는 가볍고 빠르다. 배우기도 쉽다. 근데 난 안 배웠으니까 조금 배운 후에 시작할 예정이다.
ii) 데이터베이스 : MySQL - 나는 돈이 없으므로 AWS Lightsail을 사용할 예정이다. 그러면... 매우 작고 소중한 자원을 가지고 있을테니 MySQL을 사용해야한다. Oracle은 자원이 너무 많이 필요하다. 굳이 관계형 데이터베이스를 쓰는 이유는 관계형이여야만 사물간의 관계를 정립할 수 있다. 나는 history를 쌓아야 하며, 그러기 위해서는 정립된 무언가가 필요하다. 그리고 크롤링이잖아. 데이터가 계속 들어올거라고. 그거 감당할 수 있어? Lightsail가지고? 어후 나는 상상도 못한다.
iii) 웹서버 : JAVA Spring - 솔직히 말해서 취업때문에 하는거다. 나도 express node.js쓸 줄 알고 typescript nest.js 쓸줄 안다. 짜증나게 말하지 않겠다. 개 싫 다. 알고리즘도 이번에 네이버 웹툰 코테 보니까 백엔드는 자바만 받더라 승질 뻗쳐서 증말...
iv) 서버 : AWS LightSail - 그냥 샌드박스가 필요했다. + 다른 것보다 싸다길래 쓰는거다.
v) 인프라 - 도커 : 트래픽 관리 해보고 싶다. 그래서 넣었다. 쿠버네티스도 쓸까 했는데 솔직히 좀... 응... 무거울거 같아서 나중에 처리하려 한다. 되면 trafik 같은거 말고 쿠버네티스 쓰겠지. 안그래?