데이터마트 , 데이터 웨어 하우스 데이터 마트 | Data Mart 데이터의 한 부분으로서 특정 사용자가 관심을 갖는 데이터들을 담은 비교적 작은 규모의 데이터 웨어하우스 즉, 일반적인 데이터베이스 형태를 갖고 있는 다양한 정보를 사용자의 요구 항목에 따라 체계적으로 분석하여 기업의 경영활동을 돕기 위한 시스템 전체적인 데이터 웨어하우스에 있는 일부 데이터를 가지고 특정 사용자를 대상으로 함 데이터 웨어하우스 | Data Warehouse 급증하는 다량의 데이터를 효과적으로 분석하여 정보화하고 이를 여러 계층의 사용자들이 효율적으로 사용할 수 있도록 한 데이터베이스 다양한 원본 데이터베이스로부터 정제되어 추출된 데이터만을 저장, 필요한 인덱스를 생성하고, 데이터의 다차원 분석 도구로 분석하여 효율적인 의..
검증 - Verification 과 확인 - Validation 검증 | Verification 소프트웨어 개발 과정을 테스트 올바른 제품을 생산하고 있는지 검증 이전 단계에서 설정된 개발 규격과 요구를 충족시키는지 판단 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 알아보는 과정 확인 | Validation 소프트웨어 결과를 테스트 만들어진 제품이 제대로 동작하는지 확인 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정 인증 기술의 유형 지 소 생 특 | 지식 기반 , 소지 기반 , 생체 기반 , 특징 기반 지식 기반 인증 사용자가 기억하고 있는 지식 ID / 패스워드 소지 기반 인증 소지하고 있는 사용자..
프로세스 수행을 지원하는 정보 시스템의 구현을 위해 가장 선진화되 소프트웨어 아키텍처, 서비스라고 정의되는 분할된 애플리케이션 조각들을 Loosely-coupled하게 연결해 하나의 완성된 Application 을 구현하기 위한 아키텍처 서비스 지향 아키텍처 SOA | Service Oriented Architecture TCP 세션 하이재킹 | Session Hijacking TCP Sequence number의 보안상 문제점 때문에 발생 Victm과 Server 사이의 패킷을 스니핑하여 Sequence number를 획득하고, 공격자는 데이터 전송 중인 Victim과 Server 사이를 비동기화 상태로 강제적으로 만듦 스니핑하여 획득한 Client Sequence Number를 이용하여 공격 공격자는..
티스토리 위젯을 하나 만들어 봤습니다. QuickSearch3.0을 Widget형태로 만들었으며, QuickSearch3.0의 빠른 검색과 빠른 붙여놓기 등 핵심 기능만 있는 위젯입니다. 기능 설명 빠른 붙여놓기 위젯 부분영역에 마우스를 클릭하고 붙여놓기(`ctrl + v`) 키를 누르면 바로 클립보드 검색이 가능해요 빠른 검색 검색창에 검색어를 입력 후 엔터를 누르면 바로 검색이 가능해요. 주의 hELLO 스킨을 기준으로 개발되었습니다. 그래서 다른 스킨에는 적절하지 못한 형식으로 표시될 수 있습니다. hELLO 티스토리 스킨을 소개합니다. hELLO 스킨은 본래 기능의 많이 없었다가, 티스토리 블로거 여러분의 호응에 힘입어 기능의 추가와 함께 업데이트를 여러 번 하게 되었습니다. hELLO 1.0 때..
NiFi ExecuteStreamCommand로 Python 스크립트를 실행하여 웹크롤링 데이터를 가져오는 방법 1. 시작 전 설명 ExecuteStreamCommand? ExecuteStreamCommand 프로세서는 외부 명령과 스크립트를 NiFi 데이터 흐름에 통합하는 유연한 방법을 제공합니다. ExecuteStreamCommand는 들어오는 FlowFile의 콘텐츠를 파이핑 작동 방식과 유사하게 실행하는 명령에 전달할 수 있습니다. ExecuteStreamCommand Description The ExecuteStreamCommand processor provides a flexible way to integrate external commands and scripts into NiFi data ..
구글 자동완성 API로 TEXT 자동완성 기능 사용하기 QuickSearch를 업데이트를 적용하면서 나름 유용한 기능같아 따로 포스트 작성합니다. 우리가 구글에 "아" 를 입력하면 이렇게 자동완성이 뜨는것을 확인할 수 있습니다. 이와 똑같은 기능을 구현하는 코드입니다. 기본적인 코드는 아래와 같습니다 id가 input_text에 keyup 할경우 url 맨 뒤에 id가 input_text의 value를 넣고 GET방식으로 호출하여 JSON 형식으로 받습니다. 성공할 경우 `받아온 데이터[1]의 길이만큼 반복` -> class가 tables 인 요소를 비우고 `받아온 데이터[1][i]번째` 요소를 추가시킵니다. 하지만 여기서 코드를 실행시키면 아마 오류가 날겁니다. 저는 아래와 같은 문제를 겪었습니다. S..
Python dictionaries deep merge 여러개의 딕셔너리들을 깊은 병합시켜주는 Python Module https://pypi.org/project/Python-dictionaries-deep-merge/ Python-dictionaries-deep-merge pypi.org https://github.com/hbcha0916/Python_dictionaries_deep_merge GitHub - hbcha0916/Python_dictionaries_deep_merge: 여러개의 딕셔너리들을 깊은 병합시켜주는 Python Module 여러개의 딕셔너리들을 깊은 병합시켜주는 Python Module. Contribute to hbcha0916/Python_dictionaries_deep_m..
JSON으로 된 데이터를 ElasticSearch에 그냥 Put 해버리면 알아서 Mapping을 해주기 때문에 매우 좋지만 JSON으로 된 데이터에 모든 데이터들이 따옴표(" ")로 묶여있어 전부 `text`로 맵핑을 해버리는 경우가 있다. 이 문제를 조금이나마 해결하기 위해 프로그램을 만들었다. 수많은 웹사이트를 뒤졌지만 중첩 딕셔너리를 해결하지 못하여 몇 주를 삽질 하다가 ChatGPT를 잘 굴리다 보니(가르치다 보니) 드디어 중첩 딕셔너리에 대한 문제를 해결할 수 있었다. 사용목적 해당 프로그램은 이러한 문제를 겪고 있으신 분이 사용하면 유용할 것이에요. 1. ElasticSearch에 데이터를 맵핑해야 하는데 데이터가 너무 많다 2. 데이터가 모두 따옴표로 묶여있어 전부 `text`로 맵핑하여 수..
