kafka 2.8.0

kafka 2.8.0 이 릴리즈 된 지 한 달 정도 되었고

재미있어 보이는 부분들만 기록

 

카프카 위키 보다 보니 곧 3.0이 나올 각이다... :(

 

KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum

카프카 쿼럼을 구성하기 위해 메타정보 저장소로 사용하던 주키퍼가 필요 없어졌다고 한다.

(아직 ealry access 이긴 하다.)

기존까지는 카프카를 구성하기 위해 주키퍼 3대 이상이 필요했었는데 2.8.0부터는 주키퍼 없이도 구동이 가능할 것 같다.

 

그러면 예전 클라이언트들의 컨슈머 그룹 정보는 어떻게 될지 궁금한데...

롤링 업그레이드 방법이 제시되고 있긴 한데, 깔끔하게 클러스터 한벌 새로 구성하고 mirror maker 붙여서 컨슈머들 버전업 하면서 옮기고 프로듀서 옮기고 하는 게 나을 것 같다. (개인 의견)

 

재미있는 내용이 또 있는데, zk 이외에 consul이나 etcd 들로도 컨센서스를 이루는 방법도 제시되었던 것 같은데 깔끔하게 거절한 것 같다.

(es도 초기에 zk에 의존하다가 디스커버리를 자체적으로 갔던걸 보면 이게 대세인 듯싶다.)

 

KIP-673: Emit JSONs with new auto-generated schema

json 형태의 스키마들에 대해 스키마를 자동으로 생성해 준다고 한다.

타이틀만 보고 기대를 하고 내용을 살펴봤는데 

인풋 아웃풋에 스키마 만들어 주는 처리는 아니고 broker의 요청, 응답 트레이싱 로깅에 한정된 것 같다. (아쉽네... 스키마 레지스트리 어차피 못쓰는데...)

https://cwiki.apache.org/confluence/display/KAFKA/KIP-673%3A+Emit+JSONs+with+new+auto-generated+schema 

 

KIP-679: Producer will enable the strongest delivery guarantee by default

producer의 ack 기본 설정이 1에서 all로 바뀐 것 같다.

간단하게 설명하면 기존의 기본 설정으로는 topic의 partition leader broker에 저장되는 것까지 보장되었다면

변경된 기본 설정으로는 topic의 partition의 replica 들을 담당하는 broker까지 모두 저장되는 것을 보장한다.

(손실 방지는 좋은데, 기존에도 되던 기능이고, 기본값을 바꿔버리는 건 성능 이슈가 있지 않으려나?)

(역시 나 같은 의심을 하는 사람이 있을까 봐 친절하게 남겨놓으셨다)

An analysis of the impact of max.in.flight.requests.per.connection and acks on Producer performance

 

KIP-516: Topic Identifiers

토픽을 이름으로 구분하는 것이 아닌 unique 한 id를 발급해서 관리한다는 건데

유용할지는 잘 모르겠다. (이름의 uniqueness가 보장되지 않았던 것도 아니긴 한데 뭔가 이유가 있겠지)

 

 

출처

https://blogs.apache.org/kafka/entry/what-s-new-in-apache5

What’s New in Apache Kafka 2.8.0 : Kafka

https://www.youtube.com/watch?v=vp-hV_li_bk 

https://www.confluent.io/blog/kafka-2-8-0-features-and-improvements-with-early-access-to-kip-500/

Apache Kafka 2.8.0 Features and Improvements (Including Early Access to KIP-500)