Case anonimizado
Otimização de plataforma de processamento de dados em tempo real
A plataforma recebia dados de dispositivos continuamente e precisava manter o processamento e a gravação no banco estáveis durante picos de volume.
Cenário
A plataforma recebia dados continuamente de dispositivos distribuídos. Diferenças entre documentação, versões de firmware e dados efetivamente transmitidos exigiam tratamento específico. A operação dependia da preservação das posições e do histórico, inclusive durante picos de envio.
Problema
Inconsistência entre o que a documentação prometia, o formato recebido, o tempo de processamento e o que o banco conseguia gravar. Em pico, timeout e reenvio brigavam com persistência. Consultas que deveriam ser de leitura competiam com a ingestão.
Diagnóstico
O gargalo não era um único “bug de GPS”. Era o conjunto: decodificação, validação, fila, transação, retry e observabilidade. Sem separar ingestão de consulta, o mesmo banco pagava a conta da rajada e da tela. Sem idempotência, reprocessar parecia simples e gerava duplicidade.
Solução
O trabalho foi conceitualmente o de desenhar a ingestão para falhar em partes visíveis, não em silêncio.
- Tratar o pacote como contrato real, não só como PDF de fabricante.
- Desacoplar recebimento, processamento e persistência com fila onde a rajada exigia.
- Definir timeout e reprocessamento com identidade da mensagem.
- Separar carga de escrita da carga de leitura sempre que a operação permitia.
- Colocar log e métrica no caminho do pacote — não só no “servidor está pingando”.
Resultado
A operação passou a absorver pico sem transformar timeout em perda silenciosa, e o reprocessamento deixou de ser “mandar o lote de novo e torcer”. Não publicamos volume nem percentual: esses números identificariam o porte da operação. O resultado que pode ser dito é operacional — visibilidade, resiliência e um caminho de diagnóstico quando um modelo de dispositivo destoa dos demais.
Tecnologias utilizadas
- APIs e processamento assíncrono
- Filas
- Banco relacional
- Docker e operação em servidor Linux
- Observabilidade de ingestão e consulta
Serviços relacionados
Este tipo de trabalho cruza desenvolvimento, APIs e infraestrutura.