Kinesis Data Stream 개요

Record(Producers → Kinesis Data Streams)

• Partition Key : 이용할 Shard를 결정하는 key
• Data Blob : Data 값
• Shard당 1mb/s or 1000 message/s를 전송 가능

Record(Kinesis Data Streams → Consumers)

• Partition key
• Sequence No. 샤드에서 레코드의 위치를 나타냄
• Data Blob

특징

• 1~365일 까지 데이터를 보관한다
• 스트림에 전송된 데이터를 다시 분석할 수 있다
• Kinesis에 한 번 들어온 데이터는 삭제될 수 없다(immutatbility)
• 같은 Partition key는 같은 Shard에 배정된다 (ordering)
• Producers : AWS SDK, KPL(Kinesis Producer Library), Kinesis Agenst
• Consumers:
  • Write Your Own : Kinesis Client Library(KCL), AWS SDK
  • Managed : AWS Lambda, Data Firehose, Kinesis Data Analytics