1. 시작 Python 으로 Kafka Consumer를 개발하던중, Producer에서 데이터를 보내면 Consumer에 2가지 데이터가 온다 Producer가 보낸 데이터 kafka key=b'\x00\x00\x00\x01', value='\x00\x00\x00\x00\x00\x00' .. 와 같은 해더가 없는 바이너리 데이터 처음에는 해더가 있냐 없냐로 그냥 데이터를 분기했지만 너무 거슬렸다. 원인은 Producer에서 Transactions 옵션 때문이었다. 2. Transactions? Kafka로 데이터를 보내는 데 문제가 발생했을 때 Transactions을 사용하지 않을경우 이미 Kafka로 전송된 메시지는 계속해서 Consumer에게 전달된다. Transactions을 사용하면 Kafka..
1. 시작 Kafka 클러스터를 구성하면서 유용한 툴을 찾았다. 이처럼 Kafka 브로커들을 GUI로 확인할 수 있다. 2. Github UI for Apache Kafka 의 깃허브 프로젝트 링크이다. https://github.com/provectus/kafka-ui GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management Open-Source Web UI for Apache Kafka Management. Contribute to provectus/kafka-ui development by creating an account on GitHub. github.com 3. Docker pull 아래 docker pull 명령..
docker-compose로 kafka, zookeeper 간편 설치 나는 NiFi 에서 사용하기 위해 설치하였다. Kafka 설치 이유는 아래와 같다. 엄청 많은 데이터(초당 5000개 이상) 를 처리하는데 PutSQL(RDBMS) 같은 프로세서는 초당 처리 속도가 제한적이기 때문에 많은 데이터들이 NiFi Queue에 쌓여버림(점점 부모 프로세서의 큐까지 연쇄적으로 쌓여 버려 방치할 경우 NiFi 전체 Flow가 마비됨) 그렇다고 Queue 사이즈를 늘리기에는 너무 높은 사양의 서버가 요구 단순 연결(TEST)을 위해 설치, 복잡한 데이터를 처리하려면 옵션및 설정을 더 추가해야함. docker-compose.yml 로 간편하게 설치할 수 있다. Docker-compose version: '2' ser..
