[AWS][SAP] Question 20

Your company is in the process of developing a next generation pet collar that collects biometric information to assist families with promoting healthy lifestyles for their pets. Each collar will push 30kb of biometric data in JSON format every 2 seconds to a collection platform that will process and analyze the data providing health trending information back to the pet owners and veterinarians via a web portal. Management has tasked you to architect the collection platform ensuring the following requirements are met.
✑ Provide the ability for real-time analytics of the inbound biometric data
✑ Ensure processing of the biometric data is highly durable. Elastic and parallel
✑ The results of the analytic processing should be persisted for data mining
Which architecture outlined below win meet the initial requirements for the collection platform?

• A. Utilize S3 to collect the inbound sensor data analyze the data from S3 with a daily scheduled Data Pipeline and save the results to a Redshift Cluster.
• B. Utilize Amazon Kinesis to collect the inbound sensor data, analyze the data with Kinesis clients and save the results to a Redshift cluster using EMR.
• C. Utilize SQS to collect the inbound sensor data analyze the data from SQS with Amazon Kinesis and save the results to a Microsoft SQL Server RDS instance.
• D. Utilize EMR to collect the inbound sensor data, analyze the data from EUR with Amazon Kinesis and save me results to DynamoDB.

 

 

 

한글 번역

귀사는 생체 인식 정보를 수집하여 가족이 애완 동물의 건강한 생활 방식을 촉진 할 수 있도록 지원하는 차세대 애완 동물 목걸이를 개발하는 중입니다. 각 칼라는 2 초마다 JSON 형식의 생체 인식 데이터를 수집 플랫폼으로 푸시하여 웹 포털을 통해 애완 동물 소유자 및 수의사에게 건강 추세 정보를 제공하는 데이터를 처리하고 분석합니다. 경영진은 다음과 같은 요구 사항을 충족하는지 확인하는 컬렉션 플랫폼을 설계하도록 임무를 부여했습니다.
✑ 인바운드 생체 인식 데이터의 실시간 분석 기능을 제공하여 생체 인식
✑ 데이터의 처리가 내구성이 뛰어나도록 보장합니다. 탄력적 및 병렬
✑ 데이터 마이닝
을 위해 분석 처리 결과를 유지해야합니다 아래에 설명 된 아키텍처는 수집 플랫폼의 초기 요구 사항을 충족합니까?

• A. S3를 활용하여 인바운드 센서 데이터를 수집하여 매일 예약된 데이터 파이프라인을 사용하여 S3에서 데이터를 분석하고 결과를 Redshift 클러스터에 저장합니다.
• B. Amazon Kinesis를 활용하여 인바운드 센서 데이터를 수집하고, Kinesis 클라이언트로 데이터를 분석하고, EMR을 사용하여 Redshift 클러스터에 결과를 저장합니다.
• C. SQS를 활용하여 인바운드 센서 데이터를 수집하여 Amazon Kinesis를 사용하여 SQS에서 데이터를 분석하고 결과를 Microsoft SQL Server RDS 인스턴스에 저장합니다.
• D. EMR을 활용하여 인바운드 센서 데이터를 수집하고, Amazon Kinesis를 사용하여 EUR의 데이터를 분석하고, 결과를 DynamoDB에 저장합니다.

 

 

 

 

정답

• B. Utilize Amazon Kinesis to collect the inbound sensor data, analyze the data with Kinesis clients and save the results to a Redshift cluster using EMR.

 

해설

요구사항:

1. 실시간 분석 기능 제공

2. 데이터의 처리가 내구성이 뛰어나도록 보장하며 탄력적이고 병렬적이어야 한다.

3. 데이터 마이닝을 실시 할 수 있어야 한다.

 

Amazon Kinesis

Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis는 모든 규모의 스트리밍 데이터를 비용 효율적으로 처리할 수 있는 핵심 기능과 더불어 애플리케이션 요구 사항에 가장 적합한 도구를 선택할 수 있는 유연성을 제공합니다. Amazon Kinesis에서는 기계 학습, 분석 및 기타 애플리케이션을 위해 비디오, 오디오, 애플리케이션 로그, 웹 사이트 클릭스트림 및 IoT 텔레메트리 데이터와 같은 실시간 데이터를 수집할 수 있습니다. Amazon Kinesis를 사용하면 모든 데이터가 수집된 후에야 처리를 시작할 수 있는 것이 아니라 데이터가 수신되는 대로 처리 및 분석하여 즉시 대응할 수 있습니다.

 

리샤딩, 크기 조정 및 병렬 처리

리샤딩을 사용하면 스트림을 통과하는 데이터의 속도 변화에 맞게 스트림의 샤드 수를 늘리거나 줄일 수 있습니다. 일반적으로 샤드 데이터 처리 측정치를 모니터링하는 관리 애플리케이션에서 리샤딩을 수행합니다. KCL 자체는 리샤딩 작업을 시작하지 않지만 리샤딩으로 인한 샤드 수 변화에 맞게 조정됩니다.

에 명시된 바와 같이임대 테이블을 사용하여 KCL 소비자 애플리케이션에서 처리된 샤드 추적을 선택하면 KCL이 Amazon DynamoDB 테이블을 사용하여 스트림의 샤드를 추적합니다. 리샤딩으로 인해 새 샤드가 생성되면 KCL이 새 샤드를 찾아 테이블의 새 행을 채웁니다. 작업자가 자동으로 새로운 샤드를 찾고 프로세서를 생성하여 데이터를 처리합니다. 또한 KCL은 사용 가능한 모든 작업자 및 레코드 프로세서에 스트림의 샤드를 배포합니다.

KCL은 리샤딩 전에 샤드에 있던 모든 데이터가 먼저 처리되도록 합니다. 해당 데이터가 처리된 후 새로운 샤드의 테이터가 레코드 프로세서로 전송됩니다. 이러한 방식으로 KCL은 특정 파티션 키의 스트림에 데이터 레코드가 추가되는 순서를 유지합니다.

 

 

 

Amazon EMR

Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 프레임워크를 사용하여 데이터 처리, 대화식 분석 및 기계 학습을 위한 업계 최고의 클라우드 빅 데이터 플랫폼입니다.

 

 

Amazon Redshift 

Amazon Redshift는 완전관리형 확장 가능 클라우드 데이터 웨어하우스로서 쉽고 빠르고 안전한 대규모 분석을 통해 인사이트를 얻는 시간을 단축해줍니다. 수천에 이르는 고객이 Amazon Redshift를 이용해 테라바이트부터 페타바이트까지의 데이터를 분석하고 복잡한 분석 쿼리를 실행하고 있습니다. 고객은 운영 데이터베이스, 데이터 레이크, 데이터 웨어하우스 및 서드 파티 데이터 집합에 존재하는 모든 데이터에서 실시간 인사이트와 예측 분석 결과를 얻을 수 있습니다. Amazon Redshift는 다른 우수한 클라우드 데이터 웨어하우스보다 3배 더 높은 가성비로 이 모든 것을 제공하며, 고객이 비용을 예측 가능하게 관리할 수 있도록 도와줍니다.

Amazon Redshift Serverless는 데이터 웨어하우스 클러스터를 구성하거나 관리할 필요 없이 페타바이트 규모의 분석을 수초 안에 쉽게 실행하고 빠르게 인사이트를 얻을 수 있습니다. Amazon Redshift Serverless는 데이터 웨어하우스 용량을 자동으로 프로비저닝하고 크기 조정하여 수요가 많고 예측할 수 없는 워크로드에 맞춰 높은 성능을 제공하며, 사용한 리소스에 대해서만 비용을 지불하면 됩니다.