Home
의사줌치
Cancel

dynalist 검색 및 변경(search and replace)

현재 문서 전체에서 검색 및 변경 제목에 마우스를 올려보면(hover) 햄버거 메뉴가 뜬다. 햄버거 메뉴를 클릭하고 search and replace를 클릭한다. search에 검색하고자 하는 단어를 replace에 변경하고자 하는 단어를 입력한다. ‘Replace all’을 클릭하면 검색 및 변경이 동작한다. 현재 문서의 일부...

dynalist 여러 줄 코드 블럭 사용하기(multi line code block)

기본 코드 블록 사용법 방법 ```hello world ``` 결과 hello world 하지만 개행을 하면 아래와 같이 bullet 기호가 박혀버린다. 방법 ``` hello world ``` ...

git action과 dockerhub을 이용한 CI/CD 파이프라인 구축

CI/CD란 상세한 정의 Red Hat 문서에 상세하게 잘 적혀있다. CI/CD(CI CD, 지속적 통합/지속적 배포): 개념, 툴, 구축, 차이 (redhat.com) CI/CD 파이프라인: 개념, 방법, 장점, 구현 과정 (redhat.com) ...

search_after를 이용한 pagination(10000개 이상 문서에서 조회)

개요 elasticsearch에서는 pagination을 위해 search 명령 시 from과 size로 한 번에 볼 수 있는 문서양을 조절할 수 있다. 문제는 from과 size 문서는 10,000개 이하 문서까지만 조회가 가능한다는 것이다. 10,001번째 문서는 from과 size로 조회하면 빈 값만 리턴하게 된다. 이때는 정렬...

ILM을 사용하여 일정 기간마다 자동으로 인덱스 삭제하기

개요 엘라스틱서치에서 발행하는 많은 에러는 많은 경우 지정된 노드 수보다 더 많은 양의 문서를 생성해서 생긴 것이었다. 따라서 사용을 많이 하지 않는 문서는 주기적으로 지워주는 것이 필수적이다. ILM을 사용하면 조건을 지정하여, 해당 조건 충족 시 자동으로 인덱스를 삭제해준다. 여기서는 키바나를 사용한 방법을 기록한다. ILM...

filebeat input에 s3 사용하기(not using AWS SQS)

개요 filebeat의 input으로 s3를 사용한다. s3 input은 filebeat 8.x 버전부터 지원한다. AWS SQS(Simple Queue Service)를 사용하는 방법이 있으나 여기서는 filebeat이 직접 s3를 탐색하는 방법을 설명한다. filebeat에서 s3를 바라보는 것 외에 다른 방법 logstash...

unassigned shards 발생 원인 및 해결방법

개요 kibana에서 elasticsearch status를 확인해보니 red가 되었음을 확인하였다. status red란 primary shards 중 unassigned 된 것이 있다는 의미이다. 원인은 node 수에 비해 지나치게 많은 인덱스가 생성되어 unassigned 된 것이었다. node 수를 늘리거나 불필요한 인덱스를 제...

elasticsearch wildcard를 사용하여 여러 인덱스를 한 번에 삭제하기

개요 elasticsearch는 기본적으로 와일드카드를 이용한 인덱스 삭제가 금지되어 있다. 잠시 해당 설정을 풀고 와일드카드를 이용한 삭제를 한 후 다시 해당 설정으로 복원하도록 한다. wildcard를 이용한 삭제 # wildcard 사용 금지 해제 curl -XPUT \ "http://localhost...

elasticsearch depreciation log 안 보기

개요 elasticsearch의 depreciation log가 너무 많이 기록되어 kibana에서 조회 시 정작 필요한 로그 조회가 힘들게 되었다. depreciation log를 보지 않도록 설정한다. logger.org.elasticsearch.deprecation를 OFF curl -XPUT \ "htt...

security_exception, failed to authenticate user [x-pack-user] 에러

개요 elasticsearch heap 메모리 부족 에러 발생 시 x-pack으로 생성한 유저의 로그인이 무조건 실패하기 시작했다. elasticsearch 개별 서버에 슈퍼 권한을 가진 로컬 유저를 생성하여 해결할 수 있다. 슈퍼 권한 로컬 유저로 x-pack-user의 비밀번호를 변경하면 x-pack-user 역시 로그인이 가능해진다....