NiFi Python

NiFi

[Python - Selenium]NiFi ExecuteStreamCommand로 웹크롤링 하기

2023.06.24

NiFi ExecuteStreamCommand로 Python 스크립트를 실행하여 웹크롤링 데이터를 가져오는 방법 1. 시작 전 설명 ExecuteStreamCommand? ExecuteStreamCommand 프로세서는 외부 명령과 스크립트를 NiFi 데이터 흐름에 통합하는 유연한 방법을 제공합니다. ExecuteStreamCommand는 들어오는 FlowFile의 콘텐츠를 파이핑 작동 방식과 유사하게 실행하는 명령에 전달할 수 있습니다. ExecuteStreamCommand Description The ExecuteStreamCommand processor provides a flexible way to integrate external commands and scripts into NiFi data ..

NiFi/ExecuteScript

NiFi - ExecuteScript (NiFi에서 Python사용하기)

2023.05.25

NiFi - ExecuteScript (NiFi에서 Python사용하기) NiFi에서 내장된 프로세서로는 데이터흐름 및 처리가 어려울 때 직접 코딩하여 FlowFile을 제어, 변형할 수 있는 프로세서이다. 만약에 더 높은 수준으로 FlowFile을 처리해야할 경우 직접 프로세서를 만들어야 하는게 더 좋지만 내장 프로세서가 없고 복잡한 처리, 성공과 실패 관계로만 라우팅 할 경우에는 ExecuteScript를 사용해 보는 것도 나쁘지 않다. 무작정 ExecuteScript를 사용하는 건 옳지 못하다. 원하는 프로세서가 정말 없는지 깊게 검색해 보고 없으면 사용할 것. 공식 문서 ExecuteScript Dynamic Properties Any dynamic (user-defined) properties ..

[Python - Selenium]NiFi ExecuteStreamCommand로 웹크롤링 하기

NiFi - ExecuteScript (NiFi에서 Python사용하기)

티스토리툴바