코딜기

※ 이 글은 맥북이나 리눅스 환경에서 진행됩니다.SSH를 통한 EC2 인스턴스 접속터미널에 접속을 하고, 아래 명령어를 사용해서 인스턴스에 연결을 합니다.ssh -i [.pem 파일 저장 위치] [User id]@[퍼블릭 ip 주소 또는 DNS 주소]성공적으로 접속이 되었다면 인스턴스 정보와 명령어 헤더가 바뀐 것을 확인할 수 있습니다.※ 퍼블릭 ip 주소와 DNS주소는 AWS 홈페이지 - EC2 인스턴스 정보에서 확인할 수 있습니다. ※ 처음 .pem 키를 사용해서 인스턴스에 연결을 할 때 아래와 같이 .pem 파일의 퍼미션 경고가 나올 수 있습니다.     -> .pem 파일의 퍼미션은 기본적으로 0644로 설정되어 있기 때문에 400으로 바꿔줘야 성공적으로 사용할 수 있습니다.chmod 400 [...

키페어(Key Pair)란?AWS는 비대칭키 방식을 이용하여 인스턴스 접근을 제어합니다.키페어는 EC2 인스턴스에 접속하기 위해 사용되는 암호화된 파일입니다.발급받은 프라이빗 키를 이용하여 인스턴스에 접근할 수 있기 때문에 키를 안전하게 보관하는 것이 중요합니다.키페어 생성1. 키페어를 생성하기 위해 새 키 페어 생성을 눌러줍니다.2. 키페어의 이름과 유형, 파일 형식을 설정해 줍니다.   ※ MAC이나 리눅스 이용자는 .pem을 선택해 주고, 윈도우 사용자는 .ppk를 선택해 줍니다. 3. 키페어가 정상적으로 생성이 되었다면 .pem 파일 혹은 .ppk 파일이 자동으로 다운로드되고, 인스턴스 생성 시 키페어를 선택할 수 있게 됩니다. (파일은 잃어버리지 않게 잘 보관해야 합니다.)

EC2란?EC2는 AWS 내에서 제공하는 클라우드 컴퓨팅 리소스를 사용할 수 있는 서비스입니다.EC2를 통해 가상 서버를 구축하면 빠르게 애플리케이션을 개발하고 배포할 수 있습니다.EC2는 사용할 인스턴스 유형, 운영체제 등을 선택할 수 있고, 메모리, CPU, 스토리지 크기 등을 설정할 수 있습니다.※ EC2를 사용하기 위해 AWS에 가입을 하고, Free Tier 설정까지 마쳐야 합니다. ※ 모든 게시물은 AWS의 Free Tier 기준으로 진행할 예정입니다.1. AWS 홈페이지에 로그인을 한 후 검색창에 EC2를 검색해서 EC2 대시보드로 이동해줍니다.2. 리전을 한국의 서울로 바꿔주고, 인스턴스 목록을 띄워줍니다.3. 인스턴스를 만들기 위해 인스턴스 시작을 눌러줍니다.4. 인스턴스의 이름과 운영체..

Git(and Github)이란?Git은 오픈소스 분산형 버전관리 시스템 또는 프로그램입니다.Git을 기반으로 소스코드를 공유할 수 있도록 만들어진 웹 서비스입니다.Git을 사용하면 소스코드의 버전관리뿐만 아니라 로컬에서 작업한 파일들을 다른 환경에서 그대로 사용할 수 있다는 장점이 있습니다.Git의 기본 동작 로컬의 Workspace에서 작업한 파일들을 Stage에 add한 후 Local Repository에 commit을 하고, commit된 내용을 push하여 최종적으로 Github에 올립니다.반대로 Github에 올린 파일을 Pull하여 현재 Workspace로 가지고 올 수 있고, fetch하여 Local Repository로 가지고 올 수 있습니다.또한 Stage에 올린 파일을 다시 내리고 싶..

Airflow Library 설치airflow를 사용하기 위해 필요한 라이브러리를 설치해야 합니다.프로젝트를 위해 만든 가상환경 위에 라이브러리를 설치해야 다른 프로젝트 환경에 영향을 주지 않고 실행할 수 있습니다.1. 아래의 명령어를 프로젝트 가상환경 터미널에 입력해서 라이브러리를 설치해 줍니다.pip install "apache-airflow[celery]==2.9.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.9.0/constraints-3.8.txt"※ 여기서 주의할 점은 꼭 맨 앞에 (venv)가 있는지 확인하고 명령어를 입력해주셔야 합니다.     만약 없다면 가상환경에 접속 후 New Termin..

로컬에서 실행된 Docker에서 Airflow 띄우기모든 과정은 Docker가 설치되어 있는 상태에서 터미널(CMD)에서 진행됩니다.맥북은 터미널창에서 그대로 진행하시면 되시고, 윈도우는 WSL의 리눅스 환경 터미널에서 진행해 주시면 됩니다.1. cd 명령어를 통해 작업을 할 폴더로 이동해 줍니다. 2. airflow를 실행시키기 위해 공식 홈페이지에서 제공하는 docker-compose.yaml 파일을 불러오는 명령어를 실행시켜 줍니다.curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml' 3. airflow 사용에 필요한 폴더를 만들어줍니다.mkdir -p ./dags ./logs ./plugins ./c..

파이썬 가상환경이란?프로젝트를 진행할 때 사용되는 라이브러리의 버전 충돌 방지를 위해 파이썬 인터프리터 환경을 격리시키는 기술입니다.파이썬은 지속적으로 업데이트가 되기 때문에 프로젝트 진행시기에 따라서 사용되는 버전이 상이한 경우가 많습니다.가상환경(venv)을 통해 상이한 라이브러리 버전을 사용하는 여러개의 프로젝트를 관리할 수 있습니다.파이썬 가상환경 생성 및 접근1. 우선 프로젝트 경로에서 파이썬 버전을 확인합니다.-> 파이썬이 설치되어 있는지 확인2. 파이썬이 정상적으로 설치되어 있다면 아래의 명령어를 통해 가상환경 세팅을 해줍니다.   정상적으로 실행이 되었다면 현재 경로에 venv라는 폴더가 생성된 것을 볼 수 있습니다.python -m venv ./venv  3. vscode의 Help - ..