개요 elasticsearch는 기본적으로 와일드카드를 이용한 인덱스 삭제가 금지되어 있다. 잠시 해당 설정을 풀고 와일드카드를 이용한 삭제를 한 후 다시 해당 설정으로 복원하도록 한다. wildcard를 이용한 삭제 # wildcard 사용 금지 해제 curl -XPUT \ "http://localhost...

개요 elasticsearch의 depreciation log가 너무 많이 기록되어 kibana에서 조회 시 정작 필요한 로그 조회가 힘들게 되었다. depreciation log를 보지 않도록 설정한다. logger.org.elasticsearch.deprecation를 OFF curl -XPUT \ "htt...

개요 elasticsearch heap 메모리 부족 에러 발생 시 x-pack으로 생성한 유저의 로그인이 무조건 실패하기 시작했다. elasticsearch 개별 서버에 슈퍼 권한을 가진 로컬 유저를 생성하여 해결할 수 있다. 슈퍼 권한 로컬 유저로 x-pack-user의 비밀번호를 변경하면 x-pack-user 역시 로그인이 가능해진다....

개요 kibana가 다운되어 확인해보니, kibana 최초 시작 시 elasticsearch에 요청하는 GET _cat/indices가 실패하고 있었다. 에러는 “circuit_breaking_exception”, [parent] Data too large 원인은 heap 메모리가 부족이고 elasticsearch에서 사용하는 heap 메...

개요 코드를 수정하고 테스트 서버에 반영하는데 매번 똑같은 pull 명령만 날리는 것 같아 이를 자동화했다. github webhook을 이용하면 git remote repo에서 push가 발생했을 때 지정한 주소로 post 명령을 날려준다. 테스트 서버에서는 github webhook을 바라 보고 있는 작은 웹서버를 구동하다가, 요청이 ...

개요 logstash filter를 쓸 때 grok pattern을 사용하는 법을 익힌다. logstash grok 관련 문서 logstash 정형화 방법 logstash는 비정형 데이터를 input으로 받았을 때 filter를 통해 정형 데이터로 바꿀 수 있다. 이때 dissect나 grok을 쓸 수 있는데, dissect는 구...

개요 application server 및 ELK를 docker container로 올려두고 로깅해본다. 구조 개요 api, front, logstash, elasticsearch, kibana 컨테이너를 띄워 운영한다. 상세설명 ...

개요 우분투 환경에 ELK를 구축하여 후암동의 평균 공동주택 공시가격을 구해본다. 환경 설명 Windows 10 pro(실제환경)에서 docker를 이용하여 우분투로 가상환경을 구축한다. 실제환경의 ~/Document/elasticsearch 디렉토리와 가상환경 /home/elasticsearch를 연결한다. Elasticsear...

개요 예전에 React를 처음 사용할 때 backend를 jwt 인증방식으로 구현한 뒤 frontend에서는 이 jwt를 어디에 저장할지 고민했었다. 그때 4장. JWT 이해 및 적용를 보고 쿠키에 httpOnly 설정으로 저장하는 방법을 사용하기로 결정했다. 당시는 따라하는데 급급하여 무작정 똑같이 하였는데, 이번에 gonic-gin C...

개요 CORS에 대해 알아가다 보니 이를 이용하여 악의적인 스크립트로 사용자 인증 정보를 공격자 서버로 보낼 수도 있겠다(XSS 공격)라는 생각이 들었다. 그래서 예시를 작성해 실험해보았다. gonic-gin CORS 처리 XSS(Cross-stie scripting) 정의(MDN 문서에서 아래 내용 발췌) X...