Big Data Navigators

Big Data e além… 🚀

Tempo de Leitura:

6–9 minutos

⛵ Olá, navegante!!! 📊

Hoje falaremos um pouco mais sobre Big Data, detalhando melhor sobre a sua origem e alguns pontos importantes, principalmente alguns termos e conceitos que surgiram juntos com ele. Lembra que falei que iremos reforçar bastante sobre esses fundamentos? Pois é… a ideia aqui no blog não será tentar criar um “analista dev engenheiro hardcore 3.0” em pouco tempo. Mas sim, fazer com que as pessoas que acompanharem o blog, tenham a consciência de que é necessário ter uma base sólida principalmente se você está em início de carreira. E aos poucos vou começar a mesclar conteúdos mais avançados.
Mas vamos lá para o que é mais importante: o conhecimento.

📌 Criação do termo

Você já parou para pensar na quantidade de dados que estão sendo gerados no mundo neste exato momento? Imagine, por exemplo, que você está mexendo em suas redes sociais por 1min. Neste minuto, você assistiu um vídeo, curtiu, adicionou um comentário, inscreveu-se em um canal, compartilhou para um amigo e foi para uma outra rede social. Lá você enviou mensagens, curtiu fotos, assistiu vídeos e por ai vai… cada ação que você imaginou agora, geraram “dados” que foram armazenados em um determinado local.
Agora pense em mais de 2 bilhões de pessoas realizando várias vezes essas ações todo santo dia. Parece ser bastante coisa hein? 🤯

Pois bem… aqui nós já podemos citar como exemplo 2 características do Big Data, que é grande quantidade de dados (volume) e velocidade. Iremos falar mais sobre essas características, esta introdução foi para você ter uma ideia de grandeza do que estou falando.

No início dos anos 2000, o termo BIG DATA foi criado para descrever o desafio de lidar com conjuntos de dados que fossem grandes, complexos, de tipos variados e que não poderiam ser processados por bancos de dados ou aplicações de processamentos tradicionais.

Quando o cenário tecnológico começou a ter uma “explosão” na quantidade de dados gerados digitalmente, houve uma crescente necessidade de capacidade de armazenamento, processamento e principalmente análise desses dados.

Empresas como o Google e o Yahoo foram pioneiras na utilização do BIG DATA para melhorar seus serviços de busca e publicidade, abrindo o caminho para outras big techs.
A revolução do BIG DATA ganhou impulso com o desenvolvimento de tecnologias como Hadoop e sistemas de armazenamento distribuído (calma, futuramente iremos falar mais sobre isso).

Hoje, o BIG DATA desempenha um papel super importante em vários setores, desde análise de mercado de empresas de varejo, indústria, até medicina, auxiliando na tomada de decisões mais assertivas, inovações tecnológicas e a compreensão profunda de fenômenos complexos que antes não era possível ter a compreensão, muito atrelado por limitações técnicas e ferramentas que não suportavam melhores armazenamentos , processamentos e consequentemente: análises.

🌐 Os “3, 4, 5, 7, 10” V’s e crescendo…

O BIG DATA possui algumas características principais, onde geralmente quando vocês pesquisarem e lerem sobre, vão achar pessoas que falam apenas 3 características, outros 4, 10… eu neste momento irei falar sobre os 5 principais. Então vamos reforçar um pouco sobre eles:

🔹 Volume > refere-se à grande quantidade de dados que são gerados e coletados continuamente. Qual a melhor forma de armazenar, processar e gerenciar esses dados?

🔹 Variedade > refere-se à diversidade dos formatos e tipos de dados (dados estruturados, não estruturados e semi estruturados) como bancos de dados, JSON, XML, documentos PDFs, áudio, vídeos… Como processar esses dados e conseguir extrair os melhores insights?

🔹Velocidade > refere-se ao quão rápido os dados são gerados, capturados e processados. Você já imaginou quantos dados são gerados diariamente através das redes sociais? Vídeos, likes, comentários?

🔹Veracidade > refere-se à confiabilidade e qualidade dos dados. Os dados podem conter erros, serem imprecisos, inconsistentes… então como garantir a veracidade dos dados para evitar valores incorretos e por consequência, não haver erros nas tomadas de decisões?

🔹 Valor > refere-se, por fim, ao objetivo final de se trabalhar com Big Data. Afinal de contas, o que você ou a sua organização deseja extrair de insights e valor dos dados? Qual a melhor forma que, analisando os dados, estes irão ser úteis para seu negócio, de forma estratégica, melhorando seu produto ou nível de serviço?

Para cada pergunta acima, iremos ter as respostas aqui no blog ao longo de nossa jornada.

E para quem ficou curioso nas outras características, deem uma pesquisada sobre isso para somar ainda mais no seu conhecimento. Você vai encontrar por ai falando sobre Vulnerabilidade, Volatilidade, Visualização, etc…

O BIG DATA pode ser aplicado em diferentes setores de um negócio: análise de redes sociais, recomendações de produtos personalizados, previsões de tendências de mercado e muito mais.
Um exemplo rápido e claro é quando você está assistindo filmes na Netflix, e é exibido para você recomendações baseadas no que você já curtiu e assistiu. “Por trás dos panos” você já gerou muitos dados, que foram processados e com um pouco mais de tecnologia e inteligência, foi possível aprender (com Machine Learning – Aprendizado de Máquina) sobre seus gostos e lhe oferecer um melhor serviço de recomendação de filmes e séries.
Outro exemplo, seriam as análises que as fintechs realizam rapidamente contra fraudes ou análise de crédito quando você tenta realizar uma compra com seu cartão de crédito.
Mais um exemplo prático, seria uma organização que possui diversas fontes de dados para controle do seu negócio (ERP, CRM, E-commerce, Redes Sociais) e precisa analisar seus dados de forma unificada para aprimorar o conhecimento sobre seu próprio negócio e saber como deve se posicionar e melhorar em relação aos seus concorrentes, fomentando a cultura Data Driven.

🚫 Não confunda Big Data com Ciência de Dados

Se você é iniciante na área de dados, precisa entender que Big Data é diferente de Ciência de Dados; são conceitos relacionados, porém, diferentes.
O Big Data em termos práticos, vai se referir como exemplo, ao que uma organização tem em relação aos seus dados: grande volumetria, como eles são gerados, quais tipos, qual a velocidade, etc… a matéria-prima em si, que excedem a capacidade das ferramentas tradicionais de processamento de dados para capturar, armazenar, gerenciar e analisar.
Enquanto a Ciência de dados refere-se a um conjunto de tecnologias e ferramentas que podemos utilizar no Big Data e então conseguir obter conhecimento e valor, envolvendo a extração de informações significativas e insights dos dados com aplicação de técnicas estatísticas, matemáticas, programação, conhecimento de negócio, descobrir padrões, tendências, para analisar e interpretar dados. Pode ser utilizada em grandes conjuntos de dados (big data) e conjuntos de dados menores, pois ela se concentra na extração de conhecimento útil e na tomada de decisões informadas com base nos dados.

🎯 O que esperar do futuro?

O BIG DATA ainda continuará a moldar o futuro da tecnologia e do mundo, impulsionando avanços tecnológicos e descobertas importantes por muito tempo, pois a tendência é justamente cada vez mais termos dados e ferramentas com as quais possamos trabalhar e obter os melhores insights.
Embora seja muito promissor, há também muitos desafios que precisam ser enfrentados, mas isso é “papo” para um outro post.

💻 Recomendação de cursos GRATUITOS!

Ufa… caso você queira saber ainda mais sobre todo esse universo que é o Big Data, irei deixar logo abaixo uma lista de alguns cursos gratuitos que com certeza ajudarão a agregar conhecimento:


Se você quer continuar conhecendo muito mais sobre a área de dados ou fortalecer seus conhecimentos, continue seguindo o blog e nossa página do Instagram e acompanhe os melhores conteúdos! 🎯

E claro, caso tenha alguma sugestão, dica, qualquer feedback… deixa um comentário abaixo para que melhore ainda mais os conteúdos e/ou também traga algo que você deseja aprender mais.

Se você chegou até aqui, parabéns! Acabei de gerar mais dados na internet e, se você gostou, gere mais dados também curtindo e compartilhando este conteúdo. 😄

Sigam nossas redes sociais:

Avalie o nosso conteúdo:

Deixe um comentário