목록Data Engineering (29)
코딜기
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/OiGKP/btsHd7iukun/aRmz3dTor1wdDBTEiyfbQ1/img.png)
EC2란?EC2는 AWS 내에서 제공하는 클라우드 컴퓨팅 리소스를 사용할 수 있는 서비스입니다.EC2를 통해 가상 서버를 구축하면 빠르게 애플리케이션을 개발하고 배포할 수 있습니다.EC2는 사용할 인스턴스 유형, 운영체제 등을 선택할 수 있고, 메모리, CPU, 스토리지 크기 등을 설정할 수 있습니다.※ EC2를 사용하기 위해 AWS에 가입을 하고, Free Tier 설정까지 마쳐야 합니다. ※ 모든 게시물은 AWS의 Free Tier 기준으로 진행할 예정입니다.1. AWS 홈페이지에 로그인을 한 후 검색창에 EC2를 검색해서 EC2 대시보드로 이동해줍니다.2. 리전을 한국의 서울로 바꿔주고, 인스턴스 목록을 띄워줍니다.3. 인스턴스를 만들기 위해 인스턴스 시작을 눌러줍니다.4. 인스턴스의 이름과 운영체..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/zl5hI/btsG8oF99bp/mPTtm3a9eRknAmYJAJJmK1/img.png)
Git(and Github)이란?Git은 오픈소스 분산형 버전관리 시스템 또는 프로그램입니다.Git을 기반으로 소스코드를 공유할 수 있도록 만들어진 웹 서비스입니다.Git을 사용하면 소스코드의 버전관리뿐만 아니라 로컬에서 작업한 파일들을 다른 환경에서 그대로 사용할 수 있다는 장점이 있습니다.Git의 기본 동작 로컬의 Workspace에서 작업한 파일들을 Stage에 add한 후 Local Repository에 commit을 하고, commit된 내용을 push하여 최종적으로 Github에 올립니다.반대로 Github에 올린 파일을 Pull하여 현재 Workspace로 가지고 올 수 있고, fetch하여 Local Repository로 가지고 올 수 있습니다.또한 Stage에 올린 파일을 다시 내리고 싶..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/v1Um8/btsG49axisk/ryZ3DmKRLbA42SgTmR8H21/img.png)
Airflow Library 설치airflow를 사용하기 위해 필요한 라이브러리를 설치해야 합니다.프로젝트를 위해 만든 가상환경 위에 라이브러리를 설치해야 다른 프로젝트 환경에 영향을 주지 않고 실행할 수 있습니다.1. 아래의 명령어를 프로젝트 가상환경 터미널에 입력해서 라이브러리를 설치해 줍니다.pip install "apache-airflow[celery]==2.9.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.9.0/constraints-3.8.txt"※ 여기서 주의할 점은 꼭 맨 앞에 (venv)가 있는지 확인하고 명령어를 입력해주셔야 합니다. 만약 없다면 가상환경에 접속 후 New Termin..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/b8zd6W/btsG3cEBevq/KKdJj6qkxVCLnwiIFcjYz1/img.png)
로컬에서 실행된 Docker에서 Airflow 띄우기모든 과정은 Docker가 설치되어 있는 상태에서 터미널(CMD)에서 진행됩니다.맥북은 터미널창에서 그대로 진행하시면 되시고, 윈도우는 WSL의 리눅스 환경 터미널에서 진행해 주시면 됩니다.1. cd 명령어를 통해 작업을 할 폴더로 이동해 줍니다. 2. airflow를 실행시키기 위해 공식 홈페이지에서 제공하는 docker-compose.yaml 파일을 불러오는 명령어를 실행시켜 줍니다.curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml' 3. airflow 사용에 필요한 폴더를 만들어줍니다.mkdir -p ./dags ./logs ./plugins ./c..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/kVlgo/btsG4yImJqM/TAASKUhKDaYH49nhfwuVak/img.png)
파이썬 가상환경이란?프로젝트를 진행할 때 사용되는 라이브러리의 버전 충돌 방지를 위해 파이썬 인터프리터 환경을 격리시키는 기술입니다.파이썬은 지속적으로 업데이트가 되기 때문에 프로젝트 진행시기에 따라서 사용되는 버전이 상이한 경우가 많습니다.가상환경(venv)을 통해 상이한 라이브러리 버전을 사용하는 여러개의 프로젝트를 관리할 수 있습니다.파이썬 가상환경 생성 및 접근1. 우선 프로젝트 경로에서 파이썬 버전을 확인합니다.-> 파이썬이 설치되어 있는지 확인2. 파이썬이 정상적으로 설치되어 있다면 아래의 명령어를 통해 가상환경 세팅을 해줍니다. 정상적으로 실행이 되었다면 현재 경로에 venv라는 폴더가 생성된 것을 볼 수 있습니다.python -m venv ./venv 3. vscode의 Help - ..