A pilha de dados moderna continua a evoluir, mas ainda requer escala, desempenho, acessibilidade aos dados, modularidade e flexibilidade. Enquanto sua definição precisa pode ser difícil de capturar, uma coisa é clara sobre a pilha de dados moderna: ela não é a abordagem monolítica tradicional favorecida pelos gigantes do passado. A pilha de dados moderna é um conjunto dinâmico de ferramentas especializadas, cada uma se destacando em um aspecto específico do manuseio de dados. É um ecossistema modular e mutável que acomoda a fluidez da tecnologia e as necessidades de negócios em constante mudança1.
Características da Pilha de Dados Moderna
A pilha de dados moderna tem algumas características definidoras. Ela é nativa da nuvem, modular, performante, compatível com APIs RESTful, possui computação e armazenamento desacoplados e é aberta. Vamos olhar para essas características com um pouco mais de detalhes:
- Nativa da Nuvem: Ferramentas nativas da nuvem oferecem escalabilidade incomparável, permitindo que as organizações processem e analisem grandes conjuntos de dados mantendo alto desempenho em diversos ambientes de nuvem. Seja em nuvens públicas ou privadas, a pilha de dados moderna é compatível com multi-nuvem, garantindo flexibilidade e evitando o bloqueio por fornecedor1.
- Modular: A pilha de dados moderna oferece uma variedade de ferramentas especializadas, cada uma otimizada para uma tarefa de dados específica. Essa modularidade permite que as organizações criem uma infraestrutura de dados personalizada de acordo com suas necessidades únicas, promovendo agilidade e adaptabilidade em uma paisagem de dados em rápida evolução1.
- Performante: O desempenho está no cerne da pilha de dados moderna. Seus componentes são projetados para alto desempenho, permitindo que as organizações processem e analisem dados de forma eficiente1.
- Compatibilidade com API RESTful: A compatibilidade com API RESTful é empregada para uma comunicação suave e padronizada entre os componentes da pilha, promovendo a interoperabilidade e a criação de microserviços que dividem a pilha em componentes gerenciáveis1.
- Aberta: A pilha de dados moderna defende a abertura ao adotar soluções de código aberto e formatos de tabela abertos, desmantelando silos proprietários e erradicando o bloqueio por fornecedor. Esse compromisso com a abertura promove a colaboração, a inovação e a acessibilidade aos dados em uma ampla gama de plataformas e ferramentas, reforçando a adaptabilidade e a inclusividade da pilha1.
Componentes da Pilha de Dados Moderna
A pilha de dados moderna pode ser visualizada como uma orquestra sinfônica, com cada instrumento desempenhando seu papel enquanto segue o maestro, Kubernetes, para criar uma experiência de dados harmoniosa. Embora os jogadores possam mudar, os componentes permanecem constantes: integração de dados, armazenamento, transformação, observabilidade de dados, descoberta de dados, visualização de dados, análise de dados e aprendizado de máquina e IA1.
O armazenamento de objetos desempenha um papel crucial na pilha de dados moderna. Ele oferece uma solução de armazenamento escalável, performante e flexível para o volume de dados em constante crescimento. A agilidade da pilha é aprimorada pelo armazenamento de objetos, pois o melhor armazenamento de objetos pode ser implantado em diversas infraestruturas, destacando a importância do armazenamento definido por software1.
A ingestão é a ponte que conecta fontes de dados díspares. As modernas ferramentas de integração de dados abraçam o ethos de flexibilidade e democratização. Elas não acumulam dados em silos proprietários; em vez disso, facilitam a acessibilidade aos dados, independentemente de onde os dados residem. Seja na nuvem pública, na nuvem privada, na infraestrutura de metal nua ou na borda, as ferramentas de integração de dados derrubam as barreiras que antes mantinham os dados isolados1.
Esses contendores para a pilha de dados moderna não são as opções definitivas para o arquiteto empresarial. Há muito que foi deixado de fora e muito mais que ainda temos que explorar, mas as categorias devem ser a conclusão para os leitores. A pilha de dados moderna continuará a evoluir, abraçando novas ferramentas e tecnologias. A constante, no entanto, são seus requisitos em torno de escala, desempenho, acessibilidade aos dados, modularidade e flexibilidade1.
