Docker Swarm Cluster 환경에서 Fast-API & MongoDB 연결 - Docker Compose & Secret 사용

Docker Swarm Cluster 인프라 환경에서 CI/CD Pipelines 구축을 연습하기 위해, 간단한 2-Tier Web 서비스를 제작하는 과정에서 FastAPI와 MongoDB를 사용했다. Cluster 상에서 FastAPI와 MongoDB를 연결하기 위해서 꽤나 고생을 했어서 이에 대한 기록을 남겨보려고 한다. 개요 및 목표 Docker Swarm Cluster 상에서 Fast-API와 MongoDB 서비스를 배포시켜 Fast-API에서 데이터를 MongoDB 시스템에 CRUD를 실시할 수 있도록 Docker Compose를 통해 구성하는 방법을 확인한다. docker-compose.yml의 내용에 앞서 연결을 위해 구성해야하는 요소를 정리하면 아래와 같다. MongoDB 서비스의 설정 R..

• format_list_bulleted Infra/Linux
• · 2023. 8. 6.
• textsms

[ELK + Prometheus & Grafana] 로그 & 시스템 모니터링 환경 구축 - 3. 대시보드 통합 및 연결 (Ubuntu 20.04)

지금까지 수행했던 환경을 간략하게 표현하면 아래와 같다. 웹 서비스(Nginx)를 제공하는 서비스 노드와 이를 모니터링하고 데이터베이스(MySQL)를 보유하고 있는 모니터링 노드가 존재한다. Node Exporter를 통해서 각 노드의 시스템 메트릭을 수집하고 이를 모니터링 노드의 Prometheus에서 통합하여 관리한다. Filebeat의 전용 모듈들을 통해 각 노드에서 제공중인 Nginx와 MySQL 로그 정보를 수집하고 이를 모니터링 노드의 ElasticSearch에 전달한다. Prometheus 가 관리하는 시스템 메트릭을 Grafana로 시각화하고, Elasticsearch에 저장된 로그 정보들을 Kibana로 시각화한다. 이전 글들에서 노드들을 어떤식으로 구성하였는지를 확인할 수 있으니 참고하..

• format_list_bulleted Infra/Etc
• · 2023. 7. 6.
• textsms

[ELK + Prometheus & Grafana] 로그 & 메트릭 모니터링 환경 구축 - 2. 서비스 노드 구성 및 완료 (Ubuntu 20.04)

서비스 노드(Service) 구성 서비스 노드의 구성은 아래와 같은 순서로 구성된다. Nginx 설치 Node Exporter 설치 Filebeat 설치 - 기본 설치만 진행 서비스 노드 환경 OS: ubuntu-20.04.6-desktop-amd64.iso CPU: 2 Memory: 4GB Storage: 20GB root & user1 사용자 사용 IP Address: 192.168.1.101 SM: 255.255.255.0 Nginx 설치 기본 패키지 관리자를 통해서 설치를 진행했다. sudo apt-get -y install nginx Node Exporter 설치 Node Exporter의 구성은 MGMT 노드를 구성 시 수행했던 방식을 사용했다. wget https://github.com/pr..

• format_list_bulleted Infra/Etc
• · 2023. 7. 4.
• textsms

[ELK + Prometheus & Grafana] 로그 & 메트릭 모니터링 환경 구축 - 1. 모니터링 노드 구성 (Ubuntu 20.04)

이전에 시스템 메트릭 모니터링 환경을 간단히 구축하면서 프로메테우스(Prometheus)와 그라파나(Grafana)를 설치하여 시스템 메트릭에 대한 가벼운 대시보드를 구축해본 적이 있었다. 현재 ELK(Elasticsearch Logstash Kibana) Stack에 대해 공부하는 중, Filebeat와 Filebeat의 모듈들을 이용하여 Kibana에서 매우 간편하게 대시보드를 통한 시각화가 가능함을 확인해보았다. 추후에 모니터링 시스템을 구축하기 위해서 ELK 자체만을 사용하는 것이 가능하지만, 시스템 메트릭은 Prometheus & Grafana를 통해서, 시스템 로그는 ELK를 통해서 수집 및 모니터링 환경을 구축하고 싶을 것 같아 미리 아래의 아키텍처를 통해 연습삼아 환경을 구축해보고자 한다...

• format_list_bulleted Infra/Etc
• · 2023. 7. 4.
• textsms

[ELK]Elasticsearch built-in security features are not enabled. 경고(문제) 해결 - 사진 O

데스크탑에서 ELK 환경을 구성하던 도중 설치 이후 Kibana Dev Tools을 통해 ElasticSearch와의 연동이 정상적인지 확인하던 와중 아래와 같은 경고 메시지를 발견하였다. 해당 메시지를 확인해보면 다음과 같다. #! Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-minimal-setup.html to enable security. 엘라스틱 서치의 내장된 보안 기능이 비활성화 되어있..

• format_list_bulleted Infra/Etc
• · 2023. 7. 3.
• textsms

종강 기념 프로젝트 Step 3 - WPM 자동화 프로젝트 - Prometheus & Grafana 설치 및 DB Replication 설정 자동화(CentOS7)

이번 주에 정보 처리 기사 필기 시험을 신청했는데, 공부할게 점점 많아지다 보니 평소에는 진행할 여력이 안되었다.. 진작에 시험볼 생각을 했어야했는데... 그만큼 더 해야한다 다짐하고 더 생각을 멈췄다! 아무튼 오늘 수행한 작업은 이번 프로젝트 목표의 절반 단계로 아래와 같다. Shell Script를 통한 Monitoring 환경 설치와 DB Replication 설정 자동화 이것저것 해본다고 고생했는데, 그러한 점은 마지막에 적어보겠다. 수행 순서는 Monitoring 환경 설치 자동화 후에 DB Replication 자동화를 수행하였다. 설명에 앞서 최종적으로 사용한 환경과 설치한 패키지 버전을 확인하면 다음과 같다. OS: CentOS-7-x86_64-DVD-2009.iso PHP: 7.4. Wo..

• format_list_bulleted Infra/Linux
• · 2023. 6. 25.
• textsms

종강 기념 프로젝트 Step 2 - WPM 자동화 프로젝트 - 방향 수정 & WPM 설치 및 LB 구성 자동화(CentOS7)

프로젝트 방향 수정 강사님에게 이전 글에 작성했던 프로젝트의 구조에 대한 피드백을 바탕으로 다음과 같이 전체 구조를 변경하였다. 추가된 부분은 다음과 같다. DataBase Server 구축 - MariaDB 10.4 DataBase 간 Relication을 구축하여 데이터베이스 이중화 httpd 대신 wordpress를 통해 웹 서비스 제공 전체적인 구조는 아래와 같다. 우선 금일 수행할 작업은 기본 구조를 다시 설정하고, WPM 설치와 LB 구성을 실시해본다. WPM 설치 전 구성하기 우선적으로 DB1과 DB2의 구성은 다른 가상머신들과 동일하게 구축하였다. - Key-Pair를 통한 SSH 접속 가능하도록 구성했다. [root@ansiblehost ~]# tail -11 /etc/ansible/ho..

• format_list_bulleted Infra/Linux
• · 2023. 6. 20.
• textsms

종강 기념 프로젝트 Step 1 - WPM 자동화 프로젝트 - 고안 & 최초 환경 구성(CentOS7)

마지막 종강 기념으로 간단한(?) 개인 프로젝트를 구상해보았다. 이전에 진행했던 과제와 비슷한 구조이지만, Ansible을 적극적으로 활용해보고자 진행해보려고 한다. 이번 경험을 하면서 내가 원하는 직무를 찾는데 도움이 되었으면 하고, 당연히 실무와 비슷한 환경은 아니겠지만, 강사님에게 어느정도 진행한 다음 피드백을 받아보거나 해서 완성도를 높여 보고자 한다! 사실 최종적으로 하고 싶은 구조는 OpenStack을 활용하여 커스터마이징된 이미지를 인스턴스로 빠르게 배포하는 구조를 만들어보고 싶은데, 이는 차차 단계를 밟아가볼 예정이다. 아래는 최종적으로 구현해보고자 하는 프로젝트 구조이다. 이는 2개의 Compute Node와 1개의 Control Node를 구성하여 최소한의 서비스들을 통해서 이미지를 통..

• format_list_bulleted Infra/Linux
• · 2023. 6. 18.
• textsms

멀티 AZ(가용 영역)이란?

최근 카카오 클라우드 스쿨에서 강사님이 카카오가 멀티AZ를 지원하는 새 리전을 공개했다는 말씀을 해주셨다. 기사는 아래와 같다. 카카오i클라우드, 멀티AZ 지원하는 새 리전 공개 카카오엔터프라이즈가 뒤늦게 멀티 가용영역(AZ)을 선보이며 비로소 기업용 클라우드 서비스의 기본기를 갖추게 됐다.카카오엔터프라이즈(대표 이경진)는 카카오i클라우드에 멀티 A... zdnet.co.kr 기사를 확인하면 볼 수 있는 표현이 있는데, 주목해볼만한 부분은 다음과 같다. 뒤늦게 멀티 가용영역(AZ)을 선보이며 비로소 기업용 클라우드 서비스의 기본기를 갖추게 됐다. 멀티 AZ는 보안, 재해복구(DR), 백업 등의 이유로 인프라 클라우드 서비스의 기본요소다. 신규 리전에서 멀티AZ를 제공하며, 서로 다른 AZ에 배치된 리소스..

• format_list_bulleted Infra/Cloud
• · 2023. 6. 10.
• textsms

SSH KEY-PAIR 실습(CentOS7)

앞서 KEY-PAIR 인증 방식에 대해 기본적으로 확인해보면서 이를 CentOS7 환경에서 사용하는 방법에 대해 살펴보았다. 개념을 CentOS 환경에서 어떤 방식으로 수행하는 지를 위주로 작성할 계획이다. 기존 글 연장선 SSH 통신을 위해선 이전에 작성한 글은 순전히 클라이언트 인증에 대한 개념이였고, 실제 통신에서는 클라이언트 입장에서 해당 서버가 올바른지 확인하는 서버 인증의 과정이 선행적으로 존재한다. 아래는 이전에 작성한 글이고 이는 순전히 클라이언트 인증 과정에 대한 설명이다. SSH KEY-PAIR 개념(비대칭 키 인증 방식) SSH란? SSH(Secure Shell)는 네트워크를 통해 다른 원격지의 컴퓨터에 로그인하거나 명령을 실행하여 이를 조작하는 Protocol을 의미한다. => Re..

• format_list_bulleted Infra/Etc
• · 2023. 6. 10.
• textsms