java python kafka

Kafka

[Python]kafka key=b'\x00\x00\x00\x01', value='\x00\x00\x00\x00\x00\x00' 원인및 해결방법

1. 시작 Python 으로 Kafka Consumer를 개발하던중, Producer에서 데이터를 보내면 Consumer에 2가지 데이터가 온다 Producer가 보낸 데이터 kafka key=b'\x00\x00\x00\x01', value='\x00\x00\x00\x00\x00\x00' .. 와 같은 해더가 없는 바이너리 데이터 처음에는 해더가 있냐 없냐로 그냥 데이터를 분기했지만 너무 거슬렸다. 원인은 Producer에서 Transactions 옵션 때문이었다. 2. Transactions? Kafka로 데이터를 보내는 데 문제가 발생했을 때 Transactions을 사용하지 않을경우 이미 Kafka로 전송된 메시지는 계속해서 Consumer에게 전달된다. Transactions을 사용하면 Kafka..

항상 빌드중
'java python kafka' 태그의 글 목록