코딜기

Airflow.cfg란?airflow.cfg는 Airflow의 실행, 스케줄링, 로깅, 보안 및 통합 등 여러 기능을 설정하는 데 사용됩니다.Airflow 설치 시 기본적으로 생성되는 일반 텍스트 기반의 구성 파일로, INI 포맷을 사용하여 다양한 설정을 선언적으로 정의할 수 있습니다.실행 방식, 스케줄링 매개변수, 데이터베이스 접속 정보, 로깅, 메일 설정 등을 수정할 수 있습니다.파일은 여러 섹션으로 구분되어 있으며, 각 섹션은 Airflow의 특정 기능이나 구성 요소에 관한 설정을 담고 있습니다.Airflow 인스턴스를 업그레이드하거나 변경할 때 주의 깊게 관리해야 합니다.실수로 중요한 설정을 변경하거나 잘못 구성하면 Airflow의 성능이 저하되거나 예기치 않은 동작을 할 수 있습니다.주요 섹션과..

이 포스팅의 과정을 진행하기 전에 EC2 가상환경 구성을 먼저 하시는 것을 추천드립니다.가상 환경에 Airflow 패키지 설치1. Airflow 패키지 설치에 앞서 MySQL 클라이언트를 사용하기 위해 필요한 패키지를 설치해 줍니다.sudo apt install default-libmysqlclient-dev -ysudo apt install python3.8-dev -y2. 설치가 완료되었으면 아래 명령어를 통해 Airflow 패키지 설치를 해줍니다.간단하게 명령어 설명을 하자면,  [ ] 안에 들어간 것들이 Airflow에 필요한 패키지들입니다.패키지들을 따로따로 설치하게 되면 사용하는 Airflow의 버전과 Constraints에 맞는 버전이 다르게 설치되어, Airflow가 정상적으로 작동하지 않..

EC2의 가상환경자세한 개념은 파이썬 가상환경 설정 게시물에서 확인할 수 있습니다.EC2 가상환경 설치가 필요합니다.EC2에 가상환경 활성화하기아래 명령어를 통해 python용 가상환경을 env라는 디렉터리에 생성해 줍니다.가상환경을 만들 프로젝트 폴더 경로 안에 들어가서 생성해 줘야 작업별로 가상환경을 독립시킬 수 있습니다.이 포스팅에서는 활성화하는 방법을 공유하는 것이 목표이기 때문에 따로 독립시키지 않고 진행하겠습니다.virtualenv env아래 명령어를 통해 가상환경을 활성화 및 비활성화를 할 수 있습니다.가상환경을 설치한 폴더로 이동한 후 진행하셔야 합니다.정상적으로 활성화가 되었다면 사진과 같이 커맨드 라인 맨 앞에 (env) 표시가 생긴 것을 확인할 수 있습니다.# 가상환경 활성화하기sou..

EC2의 가상환경자세한 개념은 파이썬 가상환경 설정 게시물에서 확인할 수 있습니다.EC2에 가상환경 세팅하기아래 명령어를 통해 virtualenv를 설치한 후 버전을 확인해 주면 정상적으로 설치가 된 것을 확인할 수 있습니다.python3 -m pip install --user virtualenvvirtualenv --version

EC2에 pip 설치하기1. 우선 pip를 설치할 EC2 인스턴스를 생성한 후 SSH로 접속을 해줍니다.2. pip 설치를 해주기 전에 python 세팅을 먼저 해줍니다.3. 아래 명령어를 통해 pip를 설치해 줍니다.sudo apt updatesudo apt install python3-pip -y4. 설치를 하고 pip 버전을 확인해 줍니다.5. 만약 pip 버전이 9.0.x 또는 20.x 이상이 아니라면 업그레이드를 해줘야 합니다.python -m pip install --upgrade pip

EC2에 python3 세팅하기1. 우선 python 세팅을 할 EC2 인스턴스를 생성한 후 SSH로 접속을 해줍니다.2. 접속 후 apt를 업데이트하고 build-essential을 설치합니다.sudo apt updatesudo apt install build-essential -y3. 설치가 완료되었다면 python을 설치해 줍니다.     -> 필요에 따라 python 버전을 변경해 줍니다.sudo apt install python3.8 -y4. 설치를 하고 python 버전을 확인하면 방금 설치한 python 버전과 다르게 나타납니다.     -> 설치한 python 버전으로 나오면 아래 과정은 생략해도 됩니다.5. python 명령어를 치면 방금 설치한 python을 가리키도록 설정을 해줘야 합..

MySQL 원격 접속1. 먼저 mac 터미널에서 MySQL을 사용하기 위해 아래 코드로 MySQL를 설치해 줍니다.     -> homebrew를 설치하지 않았다면 homebrew의 설치가 우선적으로 필요합니다.brew updatebrew install mysql2. 설치가 완료되었다면 아래 명령어를 통해 MySQL에 원격 접속을 할 수 있습니다.     -> 엔드포인트 주소는 RDS 데이터베이스 대시보드에서 확인할 수 있습니다.mysql -u [마스터 사용자 이름] -h [엔드포인트 주소] -P 3306 -p※ 만약 접속 명령어가 실행되지 않는다면 인스턴스의 보안 그룹 설정이 문제일 수도 있습니다.     -> 이 게시물을 통해 포트 설정이 되었는지 확인해 주세요.     -> 위 게시물은 EC2 인스..

Redis 원격 접속1. 먼저 mac 터미널에서 redis-cli를 사용하기 위해 아래 코드로 redis를 설치해 줍니다.     -> homebrew를 설치하지 않았다면 homebrew의 설치가 우선적으로 필요합니다.brew updatebrew install redis2. 설치가 완료되었다면 아래 명령어를 통해 redis에 원격 접속을 할 수 있습니다.redis-cli -h [퍼블릭 IPv4 DNS]3. 설정한 접근 패스워드가 있다면 아래 명령어를 통해 패스워드 인증까지 마친 상태로 접속할 수 있습니다.redis-cli -h [퍼블릭 IPv4 DNS] --pass [접속 패스워드]※ 만약 접속 명령어가 실행되지 않는다면 인스턴스의 보안 그룹 설정이 문제일 수도 있습니다.     -> 이 게시물을 통해 ..

보안 그룹이란?인스턴스 사용 시 설정해야 하는 값 중에 하나입니다.AWS는 설정해 놓은 포트를 통해서만 원격접속이 가능하기 때문에 인스턴스에서 필요한 포트를 개방해줘야 합니다.인스턴스를 생성할 때 지정한 보안그룹의 포트는 보통 기본값으로 설정되어 있기 때문에 추가적인 포트 개방 설정이 필요합니다.포트 설정은 AWS EC2 대시보드에서도 설정이 가능합니다.1. 설정하고자 하는 인스턴스의 정보창에서 보안 - 보안그룹을 클릭합니다.2. 보안그룹의 인바운드 규칙에서 "인바운드 규칙 편집"을 선택해 줍니다.3. 보안 그룹 규칙을 하나 추가한 후 필요에 맞게 설정을 하고 규칙 저장을 눌러줍니다.     -> 이 게시물에서는 예시로 Redis에서 사용하는 포트인 6379 포트로 만들어줬습니다.4. 아래와 같이 새로운..

RDS(Relational Database Service)란?AWS의 관계형 데이터베이스 서비스입니다. AWS는 DB 인프라 및 업데이트들을 관리해 주고, DB의 설치, 운영, 관리 등의 서비스들을 지원해 줍니다.현재 RDS는 MySQL, Oracle, PostgreSQL, MariaDB, Microsoft SQL Server, Aurora DB를 제공하고 있습니다.※ RDS를 사용하기 위해 AWS에 가입을 하고, Free Tier 설정까지 마쳐야 합니다.※ 모든 게시물은 AWS의 Free Tier 기준으로 진행할 예정입니다.RDS로 MySQL DB 생성하기1. AWS 홈페이지에 로그인을 한 후 검색창에 RDS를 검색해서 RDS 대시보드로 이동해 줍니다.2. 리전을 한국의 서울로 바꿔주고, DB 인스턴스..