이것저것

들어가는 말 이제는 더이상 플랫폼을 다루지 않지만 그래도 관심 있던 분야라서 한번 정리 배경 aws vs elastic co. 간 elasticsearch 에 대한 라이센스 관련 분쟁 (분쟁이라는 표현이 맞으려나?) 2021년 초 elastic 에서 elasticserach 의 라이센스가 변경된다는 발표 https://www.elastic.co/blog/why-license-change-AWS https://aws.amazon.com/ko/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/ 복잡한 어른의 사정이 있었겠지만, 요는 aws 에서 es 돈받고 팔지 마라...(혹은 우리 지적/재산권 침해하지 마라) 정도로 이해했다. 상황 el..

결과 및 요약 구버전에서의 percolator API 처럼 쓸수 있을것 같음 default_field 매핑 잡고 쿼리에 기본 값으로 넣어둬야 함 percolate search query 에서 query_string 쓸꺼면 bool query 로 말아두어야 함 프로덕션 레벨에서 사용하기 위한 추가 검증 필요 사항 routing 적용 여부 projectName 필드 고정 배경 percolate query POC https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-percolate-query.html https://www.elastic.co/guide/en/elasticsearch/reference/current/percolato..

들어가는 말 elasticsearch(이하 es)에서 데이터가 어떻게 저장되는지 궁금해서 이글 저글 짜깁기해보면서 정리 필요한 배경 es는 lucene(이하 루씬) 기반이다. es는 인덱스를 기반으로 데이터를 저장하고, 각 인덱스는 샤드로 구성되어 있으며, 각 샤드는 루씬의 인덱스이다. (es의 샤드와 루씬의 인덱스는 1:1 관계) 샤드는 es의 데이터 노드들에서 관리하고, 데이터에 대한 crud나 그 외 연산(검색, 집계 등)을 수행한다. (즉 루씬에서 수행한다는 소리다.) 샤드는 레플리카로 관리할 수 있다. es에서 관리하는 데이터는 세그먼트로 관리된다. 세그먼트 inverted index이다. (term을 추출하여, term 이 어느 doc에 있는지 관리) 세그먼트는 파일로 쓰이기 전까지 trans..