[Airflow] 로컬에서 실행된 Docker로 Airflow 띄우기

로컬에서 실행된 Docker에서 Airflow 띄우기

• 모든 과정은 Docker가 설치되어 있는 상태에서 터미널(CMD)에서 진행됩니다.
• 맥북은 터미널창에서 그대로 진행하시면 되시고, 윈도우는 WSL의 리눅스 환경 터미널에서 진행해 주시면 됩니다.

---

1. cd 명령어를 통해 작업을 할 폴더로 이동해 줍니다.

 

2. airflow를 실행시키기 위해 공식 홈페이지에서 제공하는 docker-compose.yaml 파일을 불러오는 명령어를 실행시켜 줍니다.

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'

 

3. airflow 사용에 필요한 폴더를 만들어줍니다.

mkdir -p ./dags ./logs ./plugins ./config

 

4. airflow uid를 생성하는 .env파일을 만들어줍니다.

echo -e "AIRFLOW_UID=$(id -u)" > .env

 

5. 필요한 파일/폴더가 다 만들어졌는지 ls 명령어를 통해 확인할 수 있습니다.

 

6. , docker 명령어를 통해 현재 폴더에 airflow를 초기화시켜 줍니다.

     :) 시간이 오래 걸릴 수도 있습니다.

docker compose up airflow-init

 

6. 초기화가 완료되면 docker compose up을 통해 컨테이너를 실행시켜 줍니다.

docker compose up

---

Airflow가 정상적으로 실행되었는지 확인

1. docker desktop을 사용하고 있다면 docker desktop dashboard를 통해 아래와 같이 확인할 수 있습니다.

 

2. docker desktop을 사용하고 있지 않다면 CMD창에 아래와 같은 부분이 보이면 정상적으로 실행이 된 것입니다.

---

Airflow 실행

• 정상적으로 Airflow 컨테이너를 실행시킨 후 크롬 주소창에 localhost:8080을 입력하면 아래와 같은 로그인 화면이 나타납니다.

        :) 컨테이너가 실행상태여야 접근이 가능합니다.

•  처음 로그인하신다면 아이디와 비밀번호는 airflow로 동일하게 설정되어 있습니다.
• 로그인을 하시면 아래와 같이 airflow를 사용할 수 있는 상태가 됩니다.

 

• 처음 실행하게 되면 위와 같이 기본적으로 여러 개의 예시 dag가 생성되어 있습니다.