계정

전형우 : [email protected]

천지은 : [email protected]

신우진 : [email protected]

김준영 : [email protected]

코드 설명

|-- Makefile

• streamlit, fastapi 동시 실행(그냥 따로따로 실행해도 작동은 합니다~)

|-- config.yaml

• BigQuery, GCS과 관련된 변수들 저장(json key 경로, project id 등..)
• 보통 json key 같은 건 env 를 사용하고, 보안에 덜 민감한 설정 내용은 yaml 같은 파일을 이용해서 설정하는 것이 좋은 걸로 알고 있습니다!
• 추후에도 변수들은 따로 yaml config 파일로 보관하도록 코드 정리를 진행하는 것을 고려해야 할 것 같습니다.

bigquery:
  project_id: album-cover-generation-392406
  dataset_id: online_serving_logs
  table_id: user_input
  table_id2: review
  credentials_path: /opt/ml/FastAPI-test/album-cover-generation-392406-10597cbf7405.json

gcs:
  project_id: album-cover-generation-392406
  bucket_name: generated-album-covers
  credentials_path: /opt/ml/FastAPI-test/album-cover-generation-392406-10597cbf7405.json

|-- bigquery_logger.py

• yaml configuration을 로드 해서 "credentials_path”, "project_id”, "dataset_id”, "table_id”등 필요한 변수들을 받아옴

class BigQueryLogger:
    def __init__(self):
        with open("config.yaml", "r") as config_file:
            config = yaml.safe_load(config_file)

        bigquery_config = config["bigquery"]
        credentials_path = bigquery_config["credentials_path"]
        project_id = bigquery_config["project_id"]
        dataset_id = bigquery_config["dataset_id"]
        table_id = bigquery_config["table_id"]
        self.table_id_full = f"{project_id}.{dataset_id}.{table_id}"

        credentials = service_account.Credentials.from_service_account_file(
            credentials_path
        )
        self.client = bigquery.Client(credentials=credentials)

• log 함수를 통해 Album input, image url, request id, request time을 BigQuery console에서 생성한 테이블과 동일 schema로 넣기(3-3 logging 강의 참조)

def log(self, album, summarization, request_id, image_urls):
        row_to_insert = [
            {
                "request_id": request_id,
                "request_time": datetime.utcnow().isoformat(),
                "song_names": album.song_names,
                "artist_name": album.artist_name,
                "genre": album.genre,
                "album_name": album.album_name,
                "release": album.release,
                "lyric": album.lyric,
                "summarization": summarization,
                "image_urls2": image_urls,
            }
        ]
        errors = self.client.insert_rows_json(self.table_id_full, row_to_insert)
        if errors:
            print(f"Encountered errors while inserting rows: {errors}")