우리 FISA AI엔지니어링 - Elasticsearch - 4 Data view, pip line

• 대시보드 만들기
  • 외부 파일: Analytics → Machine Learning → Visualize data from a file 선택
• 이미 엘라스틱서치에 적재된 인덱스를 대시보드로 만들 때는
  • Management → Stack Management → Create data view 선택

• 

 

 

 

git clone https://github.com/YeonjiKim0316/streamlit_elk .

깃 주소 가져오기

 

내꺼에 푸쉬하고 싶다면

Mkdir python-elk

Cd python-elk

git clone https://github.com/YeonjiKim0316/streamlit_elk .

Git remote -v

git remote remove origin

Github에서 새 레파지토리 생성

git remote add origin  새레파지토리주소

Git add .

git commit -m "first commit"

git branch -M main

git push -u origin main

필요한 라이브러리 import를 위해 install

Ctrl + Shift + P -> 파이썬 인터프리터 선택 -> base

Conda create –name es

Conda activate es

conda install elasticsearch
~ elasticsearch-dsl

 

conda install pandas openpyxl beautifulsoup4 beautifulsoup4 html5lib elasticsearch elasticsearch-dsl lxm

Cd C:\ITStudy\ELK\python-elk\streamlit-search

이렇게 해야지 되네 ,,

Python elastic_bulk.py

 

 

 

 

Tag Cloud

• Visualize Library => Create visualization => Aggregation Based ⇒ Tag Cloud

https://www.elastic.co/kr/logstash/

Logstash: 로그 수집, 구문 분석, 변환 | Elastic

다운로드 후 ELK에 넣어주기

후에 pipelines에

# logstash-pipeline.conf

input {

    stdin {}

}

filter {

    mutate {

        add_field => { "description" => "first pipeline!  " }

    }

}

output {

    stdout {}

}

 

입력

 

echo "hello world" | bin\logstash -f config\logstash1.conf

 

 

생성 - 수집 - 전처리 - processing - 기록

 

 

 

 

dev tools에서

 

sample Data

~

Grok Pattern

 

를통해 주소의 패턴, 특징을 가져올 수있음.

 

https://github.com/hpcugent/logstash-patterns/blob/master/files/grok-patterns

 

다음 페이지에서 패턴을 찾아서 사용 할 수 있음

 

들어오는 로그들을 패턴화해서 logstash1.conf파일에다가 자동으로 파싱할 수 있음

 

 

input { stdin {} } filter { grok { match => { "message" => "%{IP:client_ip} %{WORD:method} %{URIPATH:url} %{GREEDYDATA:else}" } } mutate { add_field => { "description" => "second pipeline!" } } } output { stdout {} }

다음과 같이 logstash1.conf로 수정 후

 

echo "55.3.244.1 GET /index.html 15824 0.043" | bin\logstash -f config\logstash1.conf

 

파이프라인 설정 완료