들어가는 말 이제는 더이상 플랫폼을 다루지 않지만 그래도 관심 있던 분야라서 한번 정리 배경 aws vs elastic co. 간 elasticsearch 에 대한 라이센스 관련 분쟁 (분쟁이라는 표현이 맞으려나?) 2021년 초 elastic 에서 elasticserach 의 라이센스가 변경된다는 발표 https://www.elastic.co/blog/why-license-change-AWS https://aws.amazon.com/ko/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/ 복잡한 어른의 사정이 있었겠지만, 요는 aws 에서 es 돈받고 팔지 마라...(혹은 우리 지적/재산권 침해하지 마라) 정도로 이해했다. 상황 el..
들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 개요 카프카는 클러스터 관리를 위해 CLI 도구를 제공합니다. 메시지 읽기와 쓰기 도구 kafka-console.consumer.sh kafka-console.producer.sh 주의 콘솔 컨슈머 사용 시 메시지 유실 가능 콘솔 프로듀서는 카프카 프로듀서의 모든 기능을 사용할 수 없음 메시지 전송이 까다로움 어플리케이션에서는 자바 클라이언트 라이브러리나, 다른 언어의 서드파티 클라이언트 사용 콘솔 프로듀서 kafka-console.producer.sh 인자 --broker-list --topic kafka-cons..
결과 및 요약 구버전에서의 percolator API 처럼 쓸수 있을것 같음 default_field 매핑 잡고 쿼리에 기본 값으로 넣어둬야 함 percolate search query 에서 query_string 쓸꺼면 bool query 로 말아두어야 함 프로덕션 레벨에서 사용하기 위한 추가 검증 필요 사항 routing 적용 여부 projectName 필드 고정 배경 percolate query POC https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-percolate-query.html https://www.elastic.co/guide/en/elasticsearch/reference/current/percolato..
들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 docker 환경을 상정하고 있긴하지만 작업 내용을 곰곰히 살펴보면 로컬 환경에 설치하는것을 상정하고 있습니다. 테스트 환경이므로 HA를 위해 앙상블을 구성하지는 않습니다. 애초에 kakfa 가 jvm 기반이지만 메모리를 많이 사용하지는 않으므로 디스크만 적절히 선택하면 된다고 생각합니다. 컨테이너 환경에다가 kakfa 를 구성하고 외부에서 접속하게 하면 port 문제 이외에도 advertised host 쪽에서 이슈가 발생할 수 있습니다. 준비물 번외이긴 하지만 docker 환경을 상정하고 있습니다. docker ..
들어가는 말 elasticsearch(이하 es)에서 데이터가 어떻게 저장되는지 궁금해서 이글 저글 짜깁기해보면서 정리 필요한 배경 es는 lucene(이하 루씬) 기반이다. es는 인덱스를 기반으로 데이터를 저장하고, 각 인덱스는 샤드로 구성되어 있으며, 각 샤드는 루씬의 인덱스이다. (es의 샤드와 루씬의 인덱스는 1:1 관계) 샤드는 es의 데이터 노드들에서 관리하고, 데이터에 대한 crud나 그 외 연산(검색, 집계 등)을 수행한다. (즉 루씬에서 수행한다는 소리다.) 샤드는 레플리카로 관리할 수 있다. es에서 관리하는 데이터는 세그먼트로 관리된다. 세그먼트 inverted index이다. (term을 추출하여, term 이 어느 doc에 있는지 관리) 세그먼트는 파일로 쓰이기 전까지 trans..
kafka 2.8.0 이 릴리즈 된 지 한 달 정도 되었고 재미있어 보이는 부분들만 기록 카프카 위키 보다 보니 곧 3.0이 나올 각이다... :( KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum 카프카 쿼럼을 구성하기 위해 메타정보 저장소로 사용하던 주키퍼가 필요 없어졌다고 한다. (아직 ealry access 이긴 하다.) 기존까지는 카프카를 구성하기 위해 주키퍼 3대 이상이 필요했었는데 2.8.0부터는 주키퍼 없이도 구동이 가능할 것 같다. 그러면 예전 클라이언트들의 컨슈머 그룹 정보는 어떻게 될지 궁금한데... 롤링 업그레이드 방법이 제시되고 있긴 한데, 깔끔하게 클러스터 한벌 새로 구성하고 mirror maker 붙여서 컨슈머들 버..
- Total
- Today
- Yesterday
- 에픽테토스
- jhipster
- Java
- 전설로떠나는월가의영웅
- 개발자
- 기술블로그
- Kafka
- Spring
- pecs
- 사기꾼증후군
- 말의품격
- COMMIT
- elasticsearch
- 기술사이트
- Async
- meta character
- opensearch
- Generic
- 클린 아키텍처
- WebSocket
- 기술센싱
- AWS
- completablefuture
- 만들면서 배우는 클린 아키텍처
- flush
- PatternSyntaxException
- percolate
- Dangling
- fsync
- kafka 2.8.0
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |