목차
Vertex AI Workbench란
공식문서에서는 “The single development environment for the entire data science workflow.” 라고 소개하고 있다. GCP 프로젝트 안에서 jupyter notebook을 활용하면서 머신러닝의 모든 워크플로우를 진행할 수 있는 개발환경이라 할 수 있겠다.
데이터 사이언티스트에게 익숙한 jupyter notebook을 구글 클라우드 상에서 그대로 사용할 수 있어 편리하고 익히기가 쉽다. 회사에서 빅쿼리 등 GCP 서비스를 이용하고 있다면 굉장히 좋은 환경이 될 수 있겠다.
관리형 노트북 vs. 사용자 관리 노트북
Vertex AI Workbench에서는 두 가지의 Jupyter notebook 옵션을 제공한다. 두 옵션 모두 JupyterLab 사전 패키징이 되어 있으며 기본적인 딥러닝 패키징은 설치되어 있는데 차이점은 무엇일까?
관리형 노트북(managed notebook)
end-to-end 노트북 기반 프로덕션 환경을 설정하고 작업하는데 도움이 되는 통합 및 기능을 갖춘 Google 관리 환경. 일반적인 end-to-end 데이터 과학 워크플로우에 적합
•
JupyterLab 인터페이스 안에서 워크플로 중심 작업을 수행할 수 있도록 통합 기능 제공
•
JupyterLab에서 하드웨어 및 프레임워크 제어
•
커스텀 Docker 컨테이너 이미지 추가 가능
•
데이터 액세스: BigQuery, Google Cloud Storage Integration 제공
→ 데이터 분석가 및 사이언티스트로서 특히 편리한 부분. 이후 더 자세히 살펴보자.
•
노트북이 반복 일정으로 실행되도록 설정할 수 있음
•
dataproc 통합
사용자 관리 노트북(user-managed notebook)
세부적으로 맞춤설정할 수 있는 Deep Learning VM Image 인스턴스로,
환경에 대한 많은 제어가 필요한 사용자에게 적합
•
맞춤 설정이 가능한 딥러닝 VM 인스턴스
◦
노트북 인스턴스를 만들 때 머신 유형과 인스턴스의 프레임워크 등 세부정보를 직접 선택
◦
인스턴스에서 소프트웨어 및 패키지 버전 업데이트와 같은 수동 수정을 수행
•
특정 네트워킹 및 보안 요구사항이 있는 사용자의 경우 좋은 옵션
사용 요금
사용요금은 차이가 꽤 나는 것 같다. 컴퓨팅 및 스토리지 리소스 요금은 Compute Engine 및 Cloud Storage에 지불하는 요금과 동일하고, 노트북 내에서 빅쿼리를 사용하면 빅쿼리 비용은 따로 발생하는 등 추가적으로 Google Cloud 리소스를 사용하면 비용이 들어간다. 인스턴스 타입에 따라서 발생하는 차이는 Vertex AI Workbench 관리수수료인데, 관리형이 편리한만큼 시간당 가격은 10배 정도 높다.
SKU | [관리형 노트북]
시간당 관리수수료 | [사용자 관리 노트북]
시간당 관리수수료 |
vCPU | vCore당 $0.05 | vCore당 $0.005 |
T4, K80, P4 (표준 GPU) | GPU당 $0.35 | GPU당 $0.035 |
P100, V100, A100 GPU (Premium GPU) | GPU당 $2.48 | GPU당 $0.25 |
관리형 노트북 살펴보기
만들기
클릭 몇 번만으로 쉽게 새로운 노트북을 만들 수 있다.
•
Vertex AI > Workbench > 관리형 노트북 > + NEW NOTEBOOK
•
설정
◦
기본적으로는 노트북 이름과 리전, 권한(서비스 계정인지, 사용자 계정인지) 등을 지정
◦
고급설정에서 환경, 하드웨어 구성, 디스크 암호화, 네트워킹 등 추가적인 설정 가능
◦
고급설정 중에서는 유휴 상태 종료를 사용 설정해두면 요금을 절약할 수 있음
인터페이스
•
실행하기: 만들어진 노트북 인스턴스 목록에서 JUPYTERLAB 열기 클릭
•
기본적으로 JupyterLab 환경과 거의 동일해, 로컬에서 JupyterLab을 이용하던 사람들이라면 그대로 쉽게 사용할 수 있다.
•
Google Cloud Storage 통합 기능
◦
JupyterLab 환경 안에서 GCS 상의 데이터를 바로 탐색할 수 있다
•
BigQuery 통합 기능
◦
빅쿼리 데이터셋 탐색 및 쿼리 등 작업이 JupyterLab 안에서 가능하다
◦
예시는 구글에서 제공하는 오픈 데이터셋으로, 유용하게 학습에 활용할 수 있다.
•
Git Repository
◦
Git repo 관리도 통합되어 있다. 협업과 버전 관리에 활용.
사용자 관리 노트북 살펴보기
만들기
•
Vertex AI > Workbench > 사용자 관리 노트북 > + NEW NOTEBOOK
•
원하는 옵션의 VM을 선택하여 인스턴스 생성
•
설정
◦
기본적으로는 노트북 이름과 리전, 영역 등을 지정
◦
고급 옵션에서 환경, 하드웨어 구성, 권한, 디스크 암호화, 네트워킹 등 추가적인 설정 가능
인터페이스
•
실행하기: 만들어진 노트북 인스턴스 목록에서 JUPYTERLAB 열기 클릭
•
관리형 노트북에서 볼 수 있던 통합 기능들은 빠져있어, 로컬에서 사용하던 JupyterLab과 거의 동일한 인터페이스를 보여줌
그럼 이렇게 Vertex AI Workbench가 무엇인지, 노트북은 어떻게 만들고 어떤 인터페이스를 갖고 있는지 알아 보았고, 다음 번에는 Workbench에서 빅쿼리 사용하는 방법 등을 정리해보도록 하자.
오늘은 여기까지!