이것저것

들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 개요 카프카는 클러스터 관리를 위해 CLI 도구를 제공합니다. 메시지 읽기와 쓰기 도구 kafka-console.consumer.sh kafka-console.producer.sh 주의 콘솔 컨슈머 사용 시 메시지 유실 가능 콘솔 프로듀서는 카프카 프로듀서의 모든 기능을 사용할 수 없음 메시지 전송이 까다로움 어플리케이션에서는 자바 클라이언트 라이브러리나, 다른 언어의 서드파티 클라이언트 사용 콘솔 프로듀서 kafka-console.producer.sh 인자 --broker-list --topic kafka-cons..

결과 및 요약 구버전에서의 percolator API 처럼 쓸수 있을것 같음 default_field 매핑 잡고 쿼리에 기본 값으로 넣어둬야 함 percolate search query 에서 query_string 쓸꺼면 bool query 로 말아두어야 함 프로덕션 레벨에서 사용하기 위한 추가 검증 필요 사항 routing 적용 여부 projectName 필드 고정 배경 percolate query POC https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-percolate-query.html https://www.elastic.co/guide/en/elasticsearch/reference/current/percolato..

https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=202322454 클린 아키텍처 소프트웨어 아키텍처의 보편 원칙을 적용하면 소프트웨어 수명 전반에서 개발자 생산성을 획기적으로 끌어올릴 수 있다. 《클린 코드》와 《클린 코더》의 저자이자 전설적인 소프트웨어 장인 www.aladin.co.kr 나온지는 조금 된 책이다. 하루에 한두 장씩 읽고 나서 느낌을 정리한다. (분량은 이틀~사흘 정도면 다 읽을 것 같지만 이번엔 좀 곱씹으면서 읽고 싶다, 통독 말고 정독으로) 이 글의 목적은 책의 내용을 요약하는 것이 아니다. (이 책을 사서 읽었으면 하는 바람이다.) 나름대로 이해하고 공감하고 생각을 정리하는 것이 목적이다. 당연히 '오해', '곡해' 하는 것도 있으리라. ..

들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 docker 환경을 상정하고 있긴하지만 작업 내용을 곰곰히 살펴보면 로컬 환경에 설치하는것을 상정하고 있습니다. 테스트 환경이므로 HA를 위해 앙상블을 구성하지는 않습니다. 애초에 kakfa 가 jvm 기반이지만 메모리를 많이 사용하지는 않으므로 디스크만 적절히 선택하면 된다고 생각합니다. 컨테이너 환경에다가 kakfa 를 구성하고 외부에서 접속하게 하면 port 문제 이외에도 advertised host 쪽에서 이슈가 발생할 수 있습니다. 준비물 번외이긴 하지만 docker 환경을 상정하고 있습니다. docker ..

https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=248169181 아비투스 인간의 품격을 결정하는 7가지 자본으로 ‘원하는 모습의 나’로 사는 방법을 알려주는 실용 인문서. 독일 최고의 컨설턴트인 저자는 20년 동안 다양한 계층의 수많은 사람을 만나며, 부, 성공, www.aladin.co.kr https://news.einfomax.co.kr/news/articleView.html?idxno=3469878 아비투스(Habitus) - 연합인포맥스 ◆ 아비투스(Habitus)란 특정한 환경에 의해 형성된 성향이나 사고, 인지, 판단과 행동 체계를 의미하는 프랑스 단어다. 무의식적으로 나타나는 인간의 행위를 뜻한다.이 단어를 처음 사용한 인물 news.einfom..

in real life 이슈가 발생하여 정리가 필요하며, 그로 인해 한동안 일상으로 삼아왔던 일들... 을 포함하여 블로그는 하던 작업 정도만 이어서 해야 할 것 같다. 인간으로서 해야 할 일들 있다. 머리 검은 짐승이지만, 해야 하는 일은 해야 한다. 인간의 의지는 나약하다. 습관화하지 않으면 편한 상태-아무것도 안 하는 상태-를 추구한다. 블로그를 일기장으로 뻘글을 쓰던, 메모장이나 이슈트래커처럼 활용하던 어쨌든 계속하고 싶다는 생각이다. 이런 형태로라도 마감일을 정해놓지 않으면 성격상 블로그를 묻어버릴 것 같다. 고로 2021.06.13. 시점까지는 정리할 건 정리하고 오자...라는 맥락으로 기록 뱀발/뇌절 개인적으로 나를 알고 있는 지인이던, 혹은 어쩌다 이런 누추한 곳에 오신 귀하신 불특정 다수..

들어가는 말 이것저것 아티클 보거나 k8s 공식 문서 뒤적이다가 집중도 잘 안되고 해서 생각난 김에 쓰는 뻘글 나(우리)는 언제나 틀릴 수 있다. 개발 비스름한 일을 한지 거진 10년이 다돼가는데 처음부터 지금까지 항상 고민하는 부분이 있다. '이게 맞나...?' 전에 비슷한 일을 해 봤다면 경험을 토대로 얻는 것, 잃는 것, 포기해야 하는 것 등을 구분할 수는 있다. 하지만 하는 일들은 대부분 새로운 일들이다. 맞는지 틀린 지 안갯속을 헤매면서 당장 눈앞에 있는 요구사항을 충족하고 버그를 잡기 위해 개발하고 구성한다. 다만 당장 정답이라고 생각하거나, 최선이라고 생각했던 답안지는 편린일 수밖에 없다. 그리고 운이 좋게 정답이라고 할 지라도 유효기간은 매우 짧다. 1년 뒤, 5년 뒤 어떻게 바뀔지도 모른..

들어가는 말 elasticsearch(이하 es)에서 데이터가 어떻게 저장되는지 궁금해서 이글 저글 짜깁기해보면서 정리 필요한 배경 es는 lucene(이하 루씬) 기반이다. es는 인덱스를 기반으로 데이터를 저장하고, 각 인덱스는 샤드로 구성되어 있으며, 각 샤드는 루씬의 인덱스이다. (es의 샤드와 루씬의 인덱스는 1:1 관계) 샤드는 es의 데이터 노드들에서 관리하고, 데이터에 대한 crud나 그 외 연산(검색, 집계 등)을 수행한다. (즉 루씬에서 수행한다는 소리다.) 샤드는 레플리카로 관리할 수 있다. es에서 관리하는 데이터는 세그먼트로 관리된다. 세그먼트 inverted index이다. (term을 추출하여, term 이 어느 doc에 있는지 관리) 세그먼트는 파일로 쓰이기 전까지 trans..