Amazon Web Services - Kinesis
Amazon Kinesisé um serviço gerenciado, escalonável e baseado em nuvem que permite o processamento em tempo real de streaming de grande quantidade de dados por segundo. Ele é projetado para aplicativos em tempo real e permite que os desenvolvedores obtenham qualquer quantidade de dados de várias fontes, aumentando ou diminuindo a escala que podem ser executados em instâncias EC2.
Ele é usado para capturar, armazenar e processar dados de grandes fluxos distribuídos, como logs de eventos e feeds de mídia social. Depois de processar os dados, o Kinesis os distribui para vários consumidores simultaneamente.
Como usar o Amazon KCL?
É usado em situações em que exigimos dados em movimento rápido e seu processamento contínuo. O Amazon Kinesis pode ser usado nas seguintes situações -
Data log and data feed intake- Não precisamos esperar para agrupar os dados, podemos enviar os dados para um stream do Amazon Kinesis assim que os dados forem produzidos. Ele também protege a perda de dados em caso de falha do produtor de dados. Por exemplo: Os logs do sistema e do aplicativo podem ser adicionados continuamente a um fluxo e podem estar disponíveis em segundos quando necessário.
Real-time graphs- Podemos extrair gráficos / métricas usando o stream Amazon Kinesis para criar resultados de relatório. Não precisamos esperar por lotes de dados.
Real-time data analytics - Podemos executar análises de dados de streaming em tempo real usando o Amazon Kinesis.
Limites do Amazon Kinesis?
A seguir estão alguns limites que devem ser mantidos em mente ao usar o Amazon Kinesis Streams -
Os registros de um fluxo podem ser acessados por até 24 horas por padrão e podem ser estendidos para até 7 dias, permitindo a retenção de dados estendida.
O tamanho máximo de um blob de dados (a carga útil de dados antes da codificação Base64) em um registro é 1 megabyte (MB).
Um shard suporta até 1000 registros PUT por segundo.
Para obter mais informações relacionadas aos limites, visite o seguinte link - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Como usar o Amazon Kinesis?
A seguir estão as etapas para usar o Amazon Kinesis -
Step 1 - Configure o Kinesis Stream usando as seguintes etapas -
Faça login na conta AWS. Selecione Amazon Kinesis no Amazon Management Console.
Clique em Criar fluxo e preencha os campos obrigatórios, como nome do fluxo e número de fragmentos. Clique no botão Criar.
O Stream agora estará visível na Lista de Stream.
Step 2- Configurar usuários no stream Kinesis. Criar novos usuários e atribuir uma política a cada usuário. (Discutimos o procedimento acima para criar usuários e atribuir uma política a eles)
Step 3- Conecte seu aplicativo ao Amazon Kinesis; aqui estamos conectando o Zoomdata ao Amazon Kinesis. A seguir estão as etapas para se conectar.
Faça login no Zoomdata como Administrador e clique em Fontes no menu.
Selecione o ícone Kinesis e preencha os detalhes necessários. Clique no botão Avançar.
Selecione o Stream desejado na guia Stream.
Na guia Campos, crie nomes de rótulos exclusivos, conforme necessário, e clique no botão Avançar.
Na guia Gráficos, ative os gráficos para dados. Personalize as configurações conforme necessário e clique no botão Concluir para salvar a configuração.
Recursos do Amazon Kinesis
Real-time processing - Permite coletar e analisar informações em tempo real, como preços de negociação de ações, caso contrário, precisamos aguardar o relatório de saída de dados.
Easy to use - Usando o Amazon Kinesis, podemos criar um novo fluxo, definir seus requisitos e iniciar o fluxo de dados rapidamente.
High throughput, elastic - Permite coletar e analisar informações em tempo real, como preços de negociação de ações, caso contrário, precisamos aguardar o relatório de saída de dados.
Integrate with other Amazon services - Pode ser integrado com Amazon Redshift, Amazon S3 e Amazon DynamoDB.
Build kinesis applications- O Amazon Kinesis fornece aos desenvolvedores bibliotecas de clientes que permitem o design e a operação de aplicativos de processamento de dados em tempo real. Adicione a biblioteca de cliente Amazon Kinesis ao aplicativo Java e ele notificará quando novos dados estiverem disponíveis para processamento.
Cost-efficient- O Amazon Kinesis é econômico para cargas de trabalho de qualquer escala. Pague conforme utilizamos pelos recursos usados e pague por hora pela taxa de transferência necessária.