[스파르타]메이킹 챌린지 - 6일차(#크롤링)

※ 실제 참여했을 때 다른 곳에 작성했던 원고를 다시 포스팅한 것으로 포스팅 일자와 실제 개발일지 작성 일자는 다릅니다.

코딩 개발일지 시작의 한마디

부디 이번 챌린지로 웹개발의 가닥이 잡히기를 바란다...!🤣​

​

개발 업무 내용

2일차~5일차(21.11.26 ~ 21.11.29)
- 복습조 가이드라인의 lv1 수준을 벗어나 복습조로서의 의미가 퇴색된 것 같다는 의견이 있어 주제부터 다시 재논의 하기로 했다.
- 6명의 팀원 중 이탈자 1명이 발생 -> 5명의 팀원으로 재정비
- 주제 : 해결의 책

6일차(21.11.30)
[오늘의 목표] 서버 열기 / Github 저장소 구축 및 권한 부여 / 크롤링할 페이지 찾기 + 크롤링 끝내기
- 서버 열기 완료
- Github 저장소 구축 및 권한 부여 완료
​- 크롤링 페이지선정 완료

인생 명언 짧고 좋은 글귀 Best 77 모음

 

오늘의 명언 (by 원스튜디오)

 

- 크롤링 완료
블로그의 내용을 크롤링하다보니 강의 때처럼 단번에 크롤링하지 못하고 if문으로 걸러낸 끝에 원하는 모습으로 내용을 긁어올 수 있었다.

​

업무 중 이슈/ 고민 + 해결 내용

1) 트위터 크롤링 이슈
원래 크롤링할 페이지는 아래 트위터 페이지였으나, 트위터는 크롤링을 제한 해놔서 트위터 개발자 계정을 만들고 승인을 받는 복잡한 과정이 필요했다. 승인받는 기간도 일주일 정도 걸리는 데다 기존 트위터 계정이 있지 않는 한 승인받기도 어렵다고 검색을 통해서 알게 되어 다른 크롤링 페이지를 찾을 수 밖에 없었다.

해결의 책(@Solve_bot) 님 | 트위터

2) 동적 크롤링 - 셀레니움
1)의 이슈로 새로 크롤링 페이지를 찾다가 발견한 오디오 클립 오늘의 명언 페이지를 크롤링해보는 것은 어떨까 제안했는데, 아래 사진이 두 번째 명언처럼 명언이 너무 길어서 "..."으로 표시되는 것들이 있어 이 것을 if문으로 제외시켜 크롤링할 수 있는지 튜터링 때 여쭤보고 그렇게 해도 된다고 하면, 진행하기로 했다.

튜터님의 답변은 bs4를 이용한 정적 크롤링말고 selenium이라는 동적 크롤링을 사용해서 명언마다 이어지는 페이지에 들어가서 내용 전체를 긁어올 수 있다는 것이었다. 백엔드 팀원분과 시간 여유가 있을 것 같으니 내일 하루까지는 동적 크롤링에 힘써보자는 의견이 나와 공부할 것이 추가되었다.

+ 다른 팀원 이슈
Github에 새로 생성한 자신의 브랜치에 push가 안되는 문제 발생
: git clone - git branch 브랜치명 - git checkout 브랜치명 - git add 파일명 or git add. - git commit -m "메시지 내용" - git push origint 브랜치명 순서로 해보기

해야될 것들

- 동적 크롤링 셀레니움 공부한 후 아래링크 크롤링하기

오늘의 명언 (by 원스튜디오)

- flask 서버 아이디:비밀번호 변경 : 보안 이슈 발생 가능성 있음
- 보안처리할 파일(flask 서버 아이디:비밀번호 등) git ignore에 넣기 - git ignore 공부