개요 filebeat의 input으로 s3를 사용한다. s3 input은 filebeat 8.x 버전부터 지원한다. AWS SQS(Simple Queue Service)를 사용하는 방법이 있으나 여기서는 filebeat이 직접 s3를 탐색하는 방법을 설명한다. filebeat에서 s3를 바라보는 것 외에 다른 방법 logstash...

개요 kibana에서 elasticsearch status를 확인해보니 red가 되었음을 확인하였다. status red란 primary shards 중 unassigned 된 것이 있다는 의미이다. 원인은 node 수에 비해 지나치게 많은 인덱스가 생성되어 unassigned 된 것이었다. node 수를 늘리거나 불필요한 인덱스를 제...

개요 elasticsearch는 기본적으로 와일드카드를 이용한 인덱스 삭제가 금지되어 있다. 잠시 해당 설정을 풀고 와일드카드를 이용한 삭제를 한 후 다시 해당 설정으로 복원하도록 한다. wildcard를 이용한 삭제 # wildcard 사용 금지 해제 curl -XPUT \ "http://localhost...

개요 elasticsearch의 depreciation log가 너무 많이 기록되어 kibana에서 조회 시 정작 필요한 로그 조회가 힘들게 되었다. depreciation log를 보지 않도록 설정한다. logger.org.elasticsearch.deprecation를 OFF curl -XPUT \ "htt...

개요 elasticsearch heap 메모리 부족 에러 발생 시 x-pack으로 생성한 유저의 로그인이 무조건 실패하기 시작했다. elasticsearch 개별 서버에 슈퍼 권한을 가진 로컬 유저를 생성하여 해결할 수 있다. 슈퍼 권한 로컬 유저로 x-pack-user의 비밀번호를 변경하면 x-pack-user 역시 로그인이 가능해진다....

개요 kibana가 다운되어 확인해보니, kibana 최초 시작 시 elasticsearch에 요청하는 GET _cat/indices가 실패하고 있었다. 에러는 “circuit_breaking_exception”, [parent] Data too large 원인은 heap 메모리가 부족이고 elasticsearch에서 사용하는 heap 메...

개요 코드를 수정하고 테스트 서버에 반영하는데 매번 똑같은 pull 명령만 날리는 것 같아 이를 자동화했다. github webhook을 이용하면 git remote repo에서 push가 발생했을 때 지정한 주소로 post 명령을 날려준다. 테스트 서버에서는 github webhook을 바라 보고 있는 작은 웹서버를 구동하다가, 요청이 ...

개요 logstash filter를 쓸 때 grok pattern을 사용하는 법을 익힌다. logstash grok 관련 문서 logstash 정형화 방법 logstash는 비정형 데이터를 input으로 받았을 때 filter를 통해 정형 데이터로 바꿀 수 있다. 이때 dissect나 grok을 쓸 수 있는데, dissect는 구...

개요 application server 및 ELK를 docker container로 올려두고 로깅해본다. 구조 개요 api, front, logstash, elasticsearch, kibana 컨테이너를 띄워 운영한다. 상세설명 ...

개요 우분투 환경에 ELK를 구축하여 후암동의 평균 공동주택 공시가격을 구해본다. 환경 설명 Windows 10 pro(실제환경)에서 docker를 이용하여 우분투로 가상환경을 구축한다. 실제환경의 ~/Document/elasticsearch 디렉토리와 가상환경 /home/elasticsearch를 연결한다. Elasticsear...