[Google Cloud Platform 기초] Cloud Pub/Sub와 Cloud Datalab

1. Cloud Pub/Sub

실시간으로 이벤트를 발생시킨다면, messaging 서비스에 도움이 될 것입니다. 이것이 Cloud Pub/Sub이 하는 일로, stream 분석에 간단하고, 믿을 수 있고, 확장 가능한 기반를 제공합니다. Application이 메세지를 보내거나 받게 할 수 있고, 이 기능이 분리되어 있어 독립적으로 확장할 수 있습니다.

 

Pub은 publisher의 축약이고, Sub은 subscriber의 줄임말 입니다. Application은 Pub/Sub에서 메시지를 보내고, 한 명 이상의 subscriber가 메세지를 받습니다. 메세지는 동시에 받지 않아도 되기 때문에 Pub/Sub가 분리된 시스템에 유용한 것입니다. 낮은 대기 시간으로 "at least once" 전송을 제공하도록 설계되었습니다. "at least once delivery"는 몇몇 메세지가 한 번 이상으로 전달될 가능성이 있다는 것입니다. 

 

Cloud Pub/Sub은 초당 100만 건의 메세지 이상에 on-demand scalability를 제공합니다. 원하는 quota를 선택하기만 하면 되며, IoT 시스템처럼 높고 예측이 불가능한 속도에 데이터가 도달하는 application이 중요한 building block이 됩니다.

 

만약, 스트리밍 데이터를 분석한다면 Cloud Dataflow는 Pub/Sub와 자연스럽게 쌍을 이룹니다. 또한, GCP Compute Platform에 구축한 application과도 잘 작동합니다. Subscriber가 push나 pull basis로 메세지를 받을 수 있게 설정을 할 수도 있습니다. 다시 말해, 새로운 메세지가 도착하면 subscriber에게 알림이 가도록 할 수 있다는 것입니다.

 

2. Cloud Datalab

Project Jupyter은 python 코드를 포함하는 web기반의 notebook을 생성하고 유지할 수 있고, 코드를 대화식으로 실행해 결과를 볼 수 있습니다. Cloud Datalab는 이때 관리 작업을 수행하고, Compute Engine 가상 머신에서 실행됩니다. 시작하기 위해선, 가상 머신 type과 어떤 GCP region에서 실행할 지 선택합니다. 시작되면, 대화식 python 환경을 사용할 수 있도록 준비됩니다. 그리고 다수의 GCP 서비스를 자동적으로 조직할 수 있어 데이터를 탐색하는데에 집중할 수 있습니다. 사용한 리소스만 지불하면 되고, Datalab에 대한 추가적인 비용이 들지 않습니다.

 

Cloud Datalab은 BigQuery, Compute Engine, Cloud Storage와 통합되어, 데이터에 접근할 때 인증에 어려움을 겪지 않아도 됩니다. 실행시에 Google Charts나 map plot line 데이터를 시각화 할 수 있습니다.