환경변수 설정 → 모든 터미널에 해주어야 합니다.

export AIRFLOW_HOME=/opt/ml/input/code/level3_cv_finalproject-cv-03/src/scratch # scratch 폴더의 절대경로 / 이후 생성 되는 airflow.cfg에 dags_folder로 들어감
export TZ=UTC
  1. Airflow 버전 맞추기 (==2.6.3)
  2. apache-airflow-providers 설치
pip install apache-airflow-providers-google==10.3.0
  1. 그 외 설치해야할 dependencies (중요!) 밑에 항목을 설치하실 때는 버전 명시 없이 설치하시면 됩니다. app

Untitled

apache-airflow-providers-google — apache-airflow-providers-google Documentation

  1. glcloud CLI 설치

gcloud CLI 설치  |  Google Cloud

  1. gcloud 초기화 & gcloud login
# gcloud 초기화 
gcloud init 

# 순차적으로 실행..

  1. 기본 사항 설정하기
# ./src/scratch에서 실행 
# 필요한 파일 생성 
>> airflow db init

# admin 계정 생성 
airflow users create \\
--username admin \\
--password 1234 \\ 
--firstname 'name' \\
--lastname 'name' \\
--role Admin \\
--email 'email'
airflow users create --username admin --password 1234 --firstname shin --lastname woojin --role Admin --email [email protected]
  1. airflow webserver, airflow scheduler 실행
# webserver 실행 -> ./src/scratch에서 실행 
>> airflow webserver --port 'port number' # 8080이 airflow 기본 포트

# 다른 터미널 생성, scheduler 실행
>> airflow scheduler