tonirr

프로젝트에서 뷰작업을 마치고 DB연동을 하던중 ora-28040: 일치하는 인증 프로토콜 없음 이런 오류를 만났다. 예전에도 한번 만났던 오류이지만 너무 오래전이기에 잘 기억이 나지 않았다. 알고보니 예전에 자바공부를 시작할때에 DB연동이 안되어서 이것저것 만지던중 ojdbc14.jar파일을 다운받아 jre와 jdk경로에 붙여넣었던 적이 있었다. 저 오류와 함께 크롬상에서는 mapper.xml에 문제가 있다고 나와서 sql문과 데이터 테이블을 몇번이나 확인했지만 되지않았고 https://cofs.tistory.com/352 ora-28040: 일치하는 인증 프로토콜 없음 해결방법 오라클 접속 시 오류발생 ora-28040: 일치하는 인증 프로토콜 없음 ORA-28040 : No matching authe..

git 에 대한 첫번째 글은 config, clone, add, commit, push 에 관한 것이었는데 clone은 원격 저장소에 있는 파일들을 다운받을때 하는 것이고 로컬 저장소에 있는 파일들을 깃에 올릴때에는 remote를 사용한다는 것을 알았다. remote 하여 깃주소를 입력하고 add 과정 없이 push하니 바로 업로드가 되었다. 그런데 이과정은 먼저 프로젝트를 마스터로 관리하고 있던 사용자의 git이 controbutor 에 있어서 주소를 변경하려고 git init을 하고 add 하였더니 아래와 같은 오류가 나왔다. error: src refspec master does not match any 해결은 다음과 같이 하였음 해당 프로젝트 폴더에서 git init을 하고 add. 한 후 com..

네이버, 구글에서 웹크롤링을 하려고하니 robots.txt.규약을 따라야 한다고 한다. 개인적인 용도로 한번 파싱하여 크롤링을 하는것은 문제가 없을 수도있으나 지속적으로 혹은 상업적인 용도로 사용한다면 그리고 로봇을 감지하여 사이트에서 ip차단등 조치를 취했음에도 우회하여 크롤링하는등의 행위는 위험하다고 하여 프로젝트를 도메인에 올리는 것까지는 생각을 해보아야 할 것 같다. 하지만 일정시간내에 얼마나 사이트를 요청해야 차단당하는지는 잘 모르겠다.. 아직 차단을 당해보지 않았다. 일단 작품을 완성하는 것이 중요하니 차단 당하는 경우 사이트 우회하는 방법을 찾아보았다.. 일단 내가 찾은 방법은 selenium 으로 직접 조작하는 것에 가까운 형태로 크롤링하기 selenium으로 크롤링 하는 것은 url로 사..

selenium을 메인화면부터 접근시키니 시간이 굉장히 오래걸렸다. 그래서 파라미터까지 url에 넣고 블로그 검색화면으로 바로 들어갈 수 있게 만들었다. 그렇게 하니 속도가 2배정도 빨라졌고 속도문제는 어느정도 해결이 될 것 같다. 그래도 서비스라고 하기엔 너무 느린속도이긴하다. 해야할 것 상단에 나타낼 정보 추가적으로 크롤링 multiprocessing 적용해서 속도가 더 향상될 수 있는지 확인 – “takes 0 positional arguments but 1 was given” 오류가 나서 파라미터에 query를 추가해서 해결 – 이상하게도 실행이 2번됨 그리고 빨라지지도 않음 방법을 다시 고민해봐야 할 것 같음

네이버 api를 통한 블로그 크롤링을 시도하였으나 썸네일이 나오지 않아 request로 할 수 있는 다른방법을 찾아보았으나 네이버에서 막아놓아 접근할 수 없었다. 알아보니 내가 크롤링 하고자 하는 사이트의 마지막에 /robots.txt를 입력하면 로봇이 접근할 수 있는 허용범위가 나타나게 되는데 네이버는 모든 사용자에게 disallow해놓은 상태였다. 따라서 request만으로는 내가 원하는 정보를 가져올 수 없고 다른방법인 selenium을 통해 가져오는 방법을 찾아보아야겠다.