목록2024/05/07 (4)
코딜기
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/ybqMZ/btsHe294mQ7/Ik4k940o0j3Jxtq2vpyqsk/img.png)
Airflow 기본 아키텍처Scheduler스케줄 된 워크 플로우를 트리거하고, Executor에게 task를 실행하도록 요청하는 역할을 합니다.기본적으로 1분에 한 번씩 모든 DAG들의 정보를 업데이트하고, 상태정보를 확인합니다.Scheduler는 모든 task와 DAG를 모니터링하고 각각의 task들을 조건에 맞게 트리거합니다.Executortask의 실행을 관리합니다.실제 task의 실행은 Scheduler 내부에서 수행할 수도 있고, 외부의 worker에게 실행을 맡길 수도 있습니다.Executor의 종류Local Executor : 로컬에서 프로세스를 실행시켜 task를 실행하는 방식Sequential Executor : Local Executor와 비슷하지만 로컬에서 한 번에 하나씩만 동작하는..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cp8GUh/btsHdueHPa1/Kq6hdEekknW0rTO1apfYc0/img.png)
로그 데이터 수집 방식1. 파일 수집 방식어플리케이션에서는 로그를 파일로 남기기만 하고, 로그 수집기는 파일을 수집해서 전송만 하는 방식입니다.장점어플리케이션과 로그 수집기가 관심사의 분리(SoC)가 되기 때문에 유연성이 높아집니다.컨테이너 환경을 이용해서 어플리케이션 수집기의 리소스를 분리하면 수집기는 어플리케이션에 부하를 주지 않습니다.단점 어플리케이션과 로그 수집기를 별도로 관리해야 합니다.2. Network Push 방식어플리케이션에서 TCP, HTTP 등의 프로토콜을 이용해서 직접 전송하는 방식입니다.장점로그 전송의 성공과 실패 여부를 어플리케이션에서 판단할 수 있습니다.단점 어플리케이션의 로직과 로그 전송을 같은 프로세스에서 수행하기 때문에 서로 영향을 미칠 수 있습니다.로그 전송때문에 어플리..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/n4Jf3/btsHfBjGLJf/V8Nwhd0HpTVozSRtJ2F7Nk/img.jpg)
명령어를 이용한 EC2 인스턴스와 로컬 간 파일 교환하기EC2 인스턴스와 로컬 간의 파일 교환을 하기 위해 아래의 명령어를 통해서 할 수 있습니다.# 로컬 -> EC2 인스턴스scp -i [보낼 파일의 경로] [User id]@[퍼블릭 ip 주소]:[파일을 받을 위치]scp -i [보낼 파일의 경로] [보낼 파일의 경로] [User id]@[퍼블릭 ip 주소]:[파일을 받을 위치]scp -r [보낼 디렉터리의 경로] [User id]@[퍼블릭 ip 주소]:[디렉터리를 받을 위치]# EC2 인스턴스 -> 로컬scp -i [User id]@[퍼블릭 ip 주소]:[보낼 파일의 경로] [파일을 받을 위치]scp -i [User id]@[퍼블릭 ip 주소]:"[보낼 파일의 경로] [보낼 파일의 경로]" [파일을 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/AR1ef/btsHfY6H1rM/EYSS9WNaKfIv06KVyCqbM0/img.png)
FileZilla란?FileZilla를 통해 EC2 인스턴스와 로컬 간의 파일 교환이 가능합니다.FileZilla 설치 EC2 연결1. https://filezilla-project.org에서 운영체제에 맞는 FileZilla client를 설치해 줍니다.2. 설치가 완료되었다면 FileZila를 실행시킨 후 설정창을 띄워줍니다.3. Connection - SFTP에서 Add key file을 선택하고, AWS 키페어 생성 때 다운받은 .pem키를 불러온 후 OK 버튼을 눌러줍니다.4. Site Manager - New site로 새로운 호스트를 만들어줍니다.Site 이름 - 인스턴스 이름과 동일하게 설정하는 것을 권장합니다.Protocol - SFTPHost - 인스턴스 DNS 주소Port - 22Us..