이것저것

들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 개요 카프카는 클러스터 관리를 위해 CLI 도구를 제공합니다. 메시지 읽기와 쓰기 도구 kafka-console.consumer.sh kafka-console.producer.sh 주의 콘솔 컨슈머 사용 시 메시지 유실 가능 콘솔 프로듀서는 카프카 프로듀서의 모든 기능을 사용할 수 없음 메시지 전송이 까다로움 어플리케이션에서는 자바 클라이언트 라이브러리나, 다른 언어의 서드파티 클라이언트 사용 콘솔 프로듀서 kafka-console.producer.sh 인자 --broker-list --topic kafka-cons..

들어가는 말 과거 kafka study 했던 자료를 한번 복기 하면서 정리합니다. https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=171000274 docker 환경을 상정하고 있긴하지만 작업 내용을 곰곰히 살펴보면 로컬 환경에 설치하는것을 상정하고 있습니다. 테스트 환경이므로 HA를 위해 앙상블을 구성하지는 않습니다. 애초에 kakfa 가 jvm 기반이지만 메모리를 많이 사용하지는 않으므로 디스크만 적절히 선택하면 된다고 생각합니다. 컨테이너 환경에다가 kakfa 를 구성하고 외부에서 접속하게 하면 port 문제 이외에도 advertised host 쪽에서 이슈가 발생할 수 있습니다. 준비물 번외이긴 하지만 docker 환경을 상정하고 있습니다. docker ..

kafka 2.8.0 이 릴리즈 된 지 한 달 정도 되었고 재미있어 보이는 부분들만 기록 카프카 위키 보다 보니 곧 3.0이 나올 각이다... :( KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum 카프카 쿼럼을 구성하기 위해 메타정보 저장소로 사용하던 주키퍼가 필요 없어졌다고 한다. (아직 ealry access 이긴 하다.) 기존까지는 카프카를 구성하기 위해 주키퍼 3대 이상이 필요했었는데 2.8.0부터는 주키퍼 없이도 구동이 가능할 것 같다. 그러면 예전 클라이언트들의 컨슈머 그룹 정보는 어떻게 될지 궁금한데... 롤링 업그레이드 방법이 제시되고 있긴 한데, 깔끔하게 클러스터 한벌 새로 구성하고 mirror maker 붙여서 컨슈머들 버..