[Airflow] EC2 가상 환경에 Airflow 패키지 설치하기

• 이 포스팅의 과정을 진행하기 전에 EC2 가상환경 구성을 먼저 하시는 것을 추천드립니다.

---

가상 환경에 Airflow 패키지 설치

1. Airflow 패키지 설치에 앞서 MySQL 클라이언트를 사용하기 위해 필요한 패키지를 설치해 줍니다.

sudo apt install default-libmysqlclient-dev -y
sudo apt install python3.8-dev -y

2. 설치가 완료되었으면 아래 명령어를 통해 Airflow 패키지 설치를 해줍니다.

• 간단하게 명령어 설명을 하자면,  [ ] 안에 들어간 것들이 Airflow에 필요한 패키지들입니다.
• 패키지들을 따로따로 설치하게 되면 사용하는 Airflow의 버전과 Constraints에 맞는 버전이 다르게 설치되어, Airflow가 정상적으로 작동하지 않게 될 수 있기 때문에 한 번에 패키지들을 설치하는 것을 권장합니다. 
  • celery: CeleryExecutor를 사용하는데 필요
  • mysql: 웹서버의 metadata / Celery의 backend result
  • redis: Celery의 broker
  • crypto: db encryption에 사용
  • statsd: 메트릭 수집에 사용

pip install "apache-airflow[celery,mysql,redis,crypto,statsd]==2.5.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.5.0/constraints-3.8.txt"

3. Airflow 패키지까지 설치가 완료되었다면 제대로 설치가 되었는지 확인해 줍니다.

     -> 새로 생성된 파일/디렉터리가 확인되지 않습니다.

4. 하지만 [airflow --help]에는 제대로 응답하는 것을 확인할 수 있습니다.

5. 이럴 때는 env를 나갔다가 다시 들어오면 새로 생긴 파일/디렉터리를 확인할 수 있습니다.

※ airflow.cfg 파일과 webserver_config.py 파일이 새로 생성됐으면 정상적으로 설치된 것입니다.