[ELK + Prometheus & Grafana] 로그 & 시스템 모니터링 환경 구축 - 3. 대시보드 통합 및 연결 (Ubuntu 20.04)

지금까지 수행했던 환경을 간략하게 표현하면 아래와 같다. 웹 서비스(Nginx)를 제공하는 서비스 노드와 이를 모니터링하고 데이터베이스(MySQL)를 보유하고 있는 모니터링 노드가 존재한다. Node Exporter를 통해서 각 노드의 시스템 메트릭을 수집하고 이를 모니터링 노드의 Prometheus에서 통합하여 관리한다. Filebeat의 전용 모듈들을 통해 각 노드에서 제공중인 Nginx와 MySQL 로그 정보를 수집하고 이를 모니터링 노드의 ElasticSearch에 전달한다. Prometheus 가 관리하는 시스템 메트릭을 Grafana로 시각화하고, Elasticsearch에 저장된 로그 정보들을 Kibana로 시각화한다. 이전 글들에서 노드들을 어떤식으로 구성하였는지를 확인할 수 있으니 참고하..

• format_list_bulleted Infra/Etc
• · 2023. 7. 6.
• textsms

[ELK + Prometheus & Grafana] 로그 & 메트릭 모니터링 환경 구축 - 2. 서비스 노드 구성 및 완료 (Ubuntu 20.04)

서비스 노드(Service) 구성 서비스 노드의 구성은 아래와 같은 순서로 구성된다. Nginx 설치 Node Exporter 설치 Filebeat 설치 - 기본 설치만 진행 서비스 노드 환경 OS: ubuntu-20.04.6-desktop-amd64.iso CPU: 2 Memory: 4GB Storage: 20GB root & user1 사용자 사용 IP Address: 192.168.1.101 SM: 255.255.255.0 Nginx 설치 기본 패키지 관리자를 통해서 설치를 진행했다. sudo apt-get -y install nginx Node Exporter 설치 Node Exporter의 구성은 MGMT 노드를 구성 시 수행했던 방식을 사용했다. wget https://github.com/pr..

• format_list_bulleted Infra/Etc
• · 2023. 7. 4.
• textsms

[ELK + Prometheus & Grafana] 로그 & 메트릭 모니터링 환경 구축 - 1. 모니터링 노드 구성 (Ubuntu 20.04)

이전에 시스템 메트릭 모니터링 환경을 간단히 구축하면서 프로메테우스(Prometheus)와 그라파나(Grafana)를 설치하여 시스템 메트릭에 대한 가벼운 대시보드를 구축해본 적이 있었다. 현재 ELK(Elasticsearch Logstash Kibana) Stack에 대해 공부하는 중, Filebeat와 Filebeat의 모듈들을 이용하여 Kibana에서 매우 간편하게 대시보드를 통한 시각화가 가능함을 확인해보았다. 추후에 모니터링 시스템을 구축하기 위해서 ELK 자체만을 사용하는 것이 가능하지만, 시스템 메트릭은 Prometheus & Grafana를 통해서, 시스템 로그는 ELK를 통해서 수집 및 모니터링 환경을 구축하고 싶을 것 같아 미리 아래의 아키텍처를 통해 연습삼아 환경을 구축해보고자 한다...

• format_list_bulleted Infra/Etc
• · 2023. 7. 4.
• textsms

[ELK]Elasticsearch built-in security features are not enabled. 경고(문제) 해결 - 사진 O

데스크탑에서 ELK 환경을 구성하던 도중 설치 이후 Kibana Dev Tools을 통해 ElasticSearch와의 연동이 정상적인지 확인하던 와중 아래와 같은 경고 메시지를 발견하였다. 해당 메시지를 확인해보면 다음과 같다. #! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security. 엘라스틱 서치의 내장된 보안 기능이 비활성화 되어있..

• format_list_bulleted Infra/Etc
• · 2023. 7. 3.
• textsms

기초 정렬 알고리즘 - 삽입(Insertion),선택(Selection), 버블(Bubble) - Python 예제

Python List 기본 정렬 방법 1차원 배열(List of Python)에선 정렬이 필요한 경우가 많다. 정렬은 오름차순 정렬과 내림차순 정렬이 존재하고, Python의 경우 내장 함수와 List 클래스의 메소드로 List의 정렬을 기본적으로 제공한다. 아래는 Python에서 List를 각각 오름차순, 내림차순 정렬하는 코드의 예시이다. TestList=[5, 15, 2, 6, 12, -15, 4, 9, 11] TestList.sort() # inplace Sort - Method of List TestList.sort(reverse = True) # inplace Sort - Method of List sorted(TestList) # Function of Python sorted(TestList..

• format_list_bulleted Dev/Algorithm
• · 2023. 7. 1.
• textsms

소수(Prime Number) 판별 및 개수 세기 - 에라토스테네스의 체(Sieve of Eratosthenes) - Python 예제

소수(Prime Number)란? 소수는 자기 자신과 1로만 나누어 떨어지는 자연수이다. 2, 3, 5, 7, 11, 13, 17 , , , 소수 판별법 1 - O(N) 방식 만약 한 숫자에 대해서 소수인지 아닌지를 판별하기 위한 가장 기본적인(느린) 방법으론 2 ~ 해당 숫자인 숫자들의 나머지 연산 결과가 0인지 아닌지를 조건문을 통해 판별하면 된다. 이런 방식을 사용할 경우, 시간 복잡도는 O(N)을 갖게된다. 7에 대해서 소수 판별을 적용하면 7 % 2 = 1, 7 % 3 = 1, 7 % 4 = 3, 7 % 5 = 2, 7 % 6 = 1 따라서, 7은 1과 7을 통해서만 나누어 떨어지므로 소수이다. 이를 Python 예시로 확인하면 다음과 같다. def isPrime_BigON(N): isPrime..

• format_list_bulleted Dev/Algorithm
• · 2023. 6. 27.
• textsms

최대공약수(GCD), 최소공배수(LCM) - 유클리드 호제법(Euclidean algorithm) - Python 예제

최대공약수 - Greatest Common Divisor 최대 공약수는 두 수를 모두 나눌 수 있는 수 중에 가장 큰 수이다. ex) GCD of 15 and 7 is 1 ex) GCD of 25 and 15 is 5 최소공배수 - Least Common Multiple 최소 공배수는 두 수의 공통된 배수 중 가장 작은 수이다. ex) LCM of 15 and 7 is 105 ex) LCM of 25 and 15 is 75 최대공약수(GCD)와 최소공배수(LCM)의 관계 최대 공약수와 최소 공배수는 아래의 관계를 가진다. A * B / GCD of A and B = LCM of A and B 이를 위의 예시에 적용하여 풀면 아래와 같다 7 * 15 / 1 = 105 is LCM of 7 and 15 25..

• format_list_bulleted Dev/Algorithm
• · 2023. 6. 26.
• textsms

종강 기념 프로젝트 Step 3 - WPM 자동화 프로젝트 - Prometheus & Grafana 설치 및 DB Replication 설정 자동화(CentOS7)

이번 주에 정보 처리 기사 필기 시험을 신청했는데, 공부할게 점점 많아지다 보니 평소에는 진행할 여력이 안되었다.. 진작에 시험볼 생각을 했어야했는데... 그만큼 더 해야한다 다짐하고 더 생각을 멈췄다! 아무튼 오늘 수행한 작업은 이번 프로젝트 목표의 절반 단계로 아래와 같다. Shell Script를 통한 Monitoring 환경 설치와 DB Replication 설정 자동화 이것저것 해본다고 고생했는데, 그러한 점은 마지막에 적어보겠다. 수행 순서는 Monitoring 환경 설치 자동화 후에 DB Replication 자동화를 수행하였다. 설명에 앞서 최종적으로 사용한 환경과 설치한 패키지 버전을 확인하면 다음과 같다. OS: CentOS-7-x86_64-DVD-2009.iso PHP: 7.4. Wo..

• format_list_bulleted Infra/Linux
• · 2023. 6. 25.
• textsms

종강 기념 프로젝트 Step 2 - WPM 자동화 프로젝트 - 방향 수정 & WPM 설치 및 LB 구성 자동화(CentOS7)

프로젝트 방향 수정 강사님에게 이전 글에 작성했던 프로젝트의 구조에 대한 피드백을 바탕으로 다음과 같이 전체 구조를 변경하였다. 추가된 부분은 다음과 같다. DataBase Server 구축 - MariaDB 10.4 DataBase 간 Relication을 구축하여 데이터베이스 이중화 httpd 대신 wordpress를 통해 웹 서비스 제공 전체적인 구조는 아래와 같다. 우선 금일 수행할 작업은 기본 구조를 다시 설정하고, WPM 설치와 LB 구성을 실시해본다. WPM 설치 전 구성하기 우선적으로 DB1과 DB2의 구성은 다른 가상머신들과 동일하게 구축하였다. - Key-Pair를 통한 SSH 접속 가능하도록 구성했다. [root@ansiblehost ~]# tail -11 /etc/ansible/ho..

• format_list_bulleted Infra/Linux
• · 2023. 6. 20.
• textsms

종강 기념 프로젝트 Step 1 - WPM 자동화 프로젝트 - 고안 & 최초 환경 구성(CentOS7)

마지막 종강 기념으로 간단한(?) 개인 프로젝트를 구상해보았다. 이전에 진행했던 과제와 비슷한 구조이지만, Ansible을 적극적으로 활용해보고자 진행해보려고 한다. 이번 경험을 하면서 내가 원하는 직무를 찾는데 도움이 되었으면 하고, 당연히 실무와 비슷한 환경은 아니겠지만, 강사님에게 어느정도 진행한 다음 피드백을 받아보거나 해서 완성도를 높여 보고자 한다! 사실 최종적으로 하고 싶은 구조는 OpenStack을 활용하여 커스터마이징된 이미지를 인스턴스로 빠르게 배포하는 구조를 만들어보고 싶은데, 이는 차차 단계를 밟아가볼 예정이다. 아래는 최종적으로 구현해보고자 하는 프로젝트 구조이다. 이는 2개의 Compute Node와 1개의 Control Node를 구성하여 최소한의 서비스들을 통해서 이미지를 통..

• format_list_bulleted Infra/Linux
• · 2023. 6. 18.
• textsms