NiFi Log TracerGit GitHub - hbcha0916/NiFi-Log-Tracer-Template: NiFi 로그추적기NiFi 로그추적기. Contribute to hbcha0916/NiFi-Log-Tracer-Template development by creating an account on GitHub.github.com 기능nifi-app.log에서 발생하는 모든 WARN, ERROR로그를 날짜별로 추출흐름로그 테일링여러줄 로그일 경우 한줄로 분할WARN, ERROR 분기분기된 로그를 실행스크립트를 실행시켜 YYYY-mm-dd.log뒤에 추가시킨다.주의NiFi의 기본 Log 설정은 $NIFI_HOME/conf/logback.xml에 종류별로 정의할 수 있습니다.모든 ERROR 그리고 ..
1. 시작 TailFile 로그를 실시간으로 가져오기 위해 TailFile 프로세서를 이용하여 실시간으로 로그를 가져오려고 했다. 그 과정 중 삽질이 있었기 때문에 이렇게 정리를 한다. 2. 알고 있던 사용 방법 로그 수집 대상의 파일명은 날짜형식으로(YYYYMMDD)되어있고 해당 날짜의 로그들이 전부 `. txt`형태로 저장된다. 다음날이 되면 다음날의 `. txt`파일에 기록되며 나는 `Tailing mode`를 `Single file`로 설정, `File(s) to Tail`을 `D:/PATH/${now():format(''YYYYMMDD'')}.txt` 이런 형식으로 테일링설정을 하였고 `Run Schedule` 을 `0 sec` 로 하였었다. 이럼 내 상식으론 하루가 지나면 자동으로 다음날 파일..
NiFi ExecuteStreamCommand로 Python 스크립트를 실행하여 웹크롤링 데이터를 가져오는 방법 1. 시작 전 설명 ExecuteStreamCommand? ExecuteStreamCommand 프로세서는 외부 명령과 스크립트를 NiFi 데이터 흐름에 통합하는 유연한 방법을 제공합니다. ExecuteStreamCommand는 들어오는 FlowFile의 콘텐츠를 파이핑 작동 방식과 유사하게 실행하는 명령에 전달할 수 있습니다. ExecuteStreamCommand Description The ExecuteStreamCommand processor provides a flexible way to integrate external commands and scripts into NiFi data ..
Custom Processor 을 만드는 이유 NiFi 에는 340개 이상의 기본(기본 설치시 있는) Processor들이 있지만, 직접 내가 Processor을 만들 수도 있다. Custom Processor을 만들 필요성은 아래와 같다. ExecuteScript보다 더 디테일한 부분(관계, properties설정 등)기능이 필요할 때 ExecuteScript의 단점(코드노출 및 인터프리터 언어 등)을 보완하고 싶을때 Java로 만들고 싶을때 NiFi 기본 프로세서로 없는 프로세서를 만들고 배포하고 싶을 때 등 단순한 관계설정(실패, 성공), 매우 간단한 로직, 파이썬이나 자바스크립트를 사용하고 싶은 경우에는 ExecuteScript를 사용하는 것도 방법 중 하나이다. 아래 링크에 ExecuteScri..
NiFi - ExecuteScript (NiFi에서 Python사용하기) NiFi에서 내장된 프로세서로는 데이터흐름 및 처리가 어려울 때 직접 코딩하여 FlowFile을 제어, 변형할 수 있는 프로세서이다. 만약에 더 높은 수준으로 FlowFile을 처리해야할 경우 직접 프로세서를 만들어야 하는게 더 좋지만 내장 프로세서가 없고 복잡한 처리, 성공과 실패 관계로만 라우팅 할 경우에는 ExecuteScript를 사용해 보는 것도 나쁘지 않다. 무작정 ExecuteScript를 사용하는 건 옳지 못하다. 원하는 프로세서가 정말 없는지 깊게 검색해 보고 없으면 사용할 것. 공식 문서 ExecuteScript Dynamic Properties Any dynamic (user-defined) properties ..
MiNiFi에서 기본으로 없는 프로세서 사용방법 우선 MiNiFi에서 기본으로 사용할 수 있는 프로세서를 아래에서 확인해 보자 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com Apache NiFi MiNiFi Copyright © 2023 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather log..
MiNiFi - NiFi와 상호통신하는 방법, MiNiFi Flow 작성 방법 SAMPLE 우선적으로 RemoteProcessGroup을 사용하는 방법에 대해 알고 있어야 합니다. Remote Process Group 사용법 Remote Process Group 사용방법 Site to Site 방식으로 다른 NiFi 서버에 FlowFile을 보낼 때 사용합니다. 저같은 경우는 보통 MiNiFi 에서 NiFi로 FlowFile을 전송할 때 사용합니다. URLs : 전송보낼/전송받을 NiFi 의 hbcha0916.tistory.com [Apache Nifi] RPG(Remote Processor Group)를 이용하여 모듈처럼 파이프 라인 관리하기, or site to site 구성하 RPG(Remote P..
MiNiFi Toolkit 사용방법 NiFi의 탬플릿을 MiNiFi 에서 사용하기 위해 MiNiFi Toolkit을 이용하여 config.yml 파일로 변환 시켜 줘야 합니다. 1. 우선 아래 링크 목차에서 일반 Linux에서 MiNiFI설치 -> MiNiFi 다운로드 및 설치 부분에서 MiNiFi Toolkit를 다운로드 해둔 상태 + java가 설치된 상태이어야 합니다. 미니파이 Apache MiNiFi 설치하기 Apache MiNiFi 쉽게 말하면 NiFi의 포터블 버전이다. C++ 버전과 Java버전이 있다. C++ : 매우가볍고 자원을 매우 낮게 사용 Java : 가볍지만 시스템 리소스를 사용한다. (JVM을 쓰기 때문), NiFi의 기능을 사 hbcha0916.tistory.com 2. Win..
