Já fazem mais de 5 anos, com Big Data na veia, tenho percorrido diversos projetos e ambientes diferentes.

Anteriormente minha postura de trabalho e minha vontade eram apenas de ter minha cadeira, uma máquina boa para se trabalhar e esperar as requisições, especificações e as demandas. Eu que, era um profissional de sistemas WEB, microsoft, sempre com metodologias de projetos fixas, com etapas e processos controlados á risca, muitas vezes engessados. Certo dia, muito incomodado com o marasmo em minha carreira, leio um artigo que não lembro mais a referência, citando, o conceito BIG DATA e suas possíveis aplicabilidades. Aquilo foi um instante maravilhoso, me apaixonei pela ideia, havia encontrado o que acreditava que realmente traria mudanças no mundo da TI. 

E por que, eu sentia essa sensação de ser algo tão revolucionário?

Antes eu entrava em um novo ambiente de trabalho e rapidamente avistava as mesmas posições de lideranças, preenchidas por alguns profissionais que conheciam afundo certas tecnologias em alta no mercado, muitas vezes sem embasamento estratégico ou mesmo humano, profissionais de Oracle, Teradata, MicroStrategy, SaS entre outras tecnologias. Esses profissionais direcionavam as atividades e demandas da área, embutido de burocracias e metodologias que se usavam por anos, sem nenhuma releitura ou adaptação. Diga-se de passagem, muitos escondiam o conhecimento e até limitavam a expansão da própria área e seus projetos.

Parecia que o caminho para o crescimento profissional, era então, ser um profissional igual? Investir em certificações caríssimas e cursos sem didática alguma? Apenas com o mérito de ser apto a responder sobre questões daquele quadradinho que vivenciava dia a dia, no qual, em pouquíssimas situações se enxergava a visão estratégica da organização.

… em pouquíssimas situações se enxergava a visão estratégica da organização.

Foi então, que, consegui uma grande oportunidade em um projeto Big Data, um projeto com alta criticidade e complexidade envolvida, um dos primeiros cases do Brasil, multinacional de telecomunicações, um investimento em constante avaliação interna de seus resultados. E qual o diferencial para tudo o que eu conhecia? 

De cara, tive acesso a profissionais pensadores, pessoas renomadas, estrangeiros de alto nível, simpáticos e bem humorados, compartilhadores de ideias e conhecimentos. Havia visibilidade na estratégia corporativa, sabedoria sobre qual a ideia macro, qual a minha responsabilidade ali naquele time e o quão eu poderia evoluir e trazer mais resultados e o melhor de tudo, trazer ideias.

Dali em diante, fui acompanhando a ascensão Big Data no mercado e simploriamente falando, avistei o acontecimento de uma onda de mudanças.

• Muitas culturas se adaptaram;
• Informações e suas disponibilidades evoluíram em termos de qualidade e confiabilidade;
• Projetos e metodologias se atualizaram para acompanhar a velocidade das demandas e entregas;
• Entregas foram remodeladas, modularizadas e integradas em esteiras estratégicas;
• Surgiram novas profissões, como engenheiro de dados, analista de dados, arquiteto de dados, cientista de dados, entre outras;
• O clico de vida do dado virou mola motor de todas as estratégias corporativas.
• Explodiu os conceitos de Machine Learning, Deep Learning, Inteligência Artificial, IoT e Analytics.
• O negócio hoje caminha fortemente junto a TI;
• A Governança está cada vez mais difundida e aplicada;
• A Segurança da informação virou uma necessidade;
• Novos profissionais são reconhecidos pela vontade de aprender e pelo que já podem oferecer, líderes não tem idade mínima, o autodidata tem poder e títulos são adendos em busca do conhecimento;
• Startups tracionam o mercado e giram a economia, EdTechs impulsionam a educação, novas tecnologias entregam qualidade de vida e salvam vidas.
• Plataformas fomentam conhecimentos, arquiteturas são ilimitadas, Cloud Computing expandiu exponencialmente as fronteiras;
• Digitalização e Virtualização tornaram-se premissas para qualquer arquitetura;

E por aí vai… UUFA!!

Muito disso é até desassociado do Big Data, mas tenho profunda crença que o gatilho sem dúvidas foi a ideia BIG DATA.

E nessa jornada, conheci diversos profissionais, muitos satisfeitos em sua área e suas posições, porém sempre encontro os que me perguntam, como posso fazer para ingressar no Big Data? Posso dizer que, ver a transição como uma mudança vertical não é o melhor prisma, agregue como uma bagagem horizontal, você irá expandir seu leque de conhecimento, a chave para a busca da excelência e sucesso é sem dúvidas se atualizar constantemente sobre as tendências, inovações e conteúdos que aportam no mercado.

Seus entendimento necessários são:

Data Lake, entenda o máximo sobre as estratégias de dados, sobre segregação lógica e física das informações, qualidade e segurança dos dados e metadados. Absorva conhecimentos sobre as melhores abordagens utilizadas pelos cases de sucesso e variedades do mercado, em segmentos e necessidades diferentes.

NoSql, esse conceito é muito importante, uma grande dificuldade é a quantidade de atualizações que o profissional deve ter sobre ferramentas, entenda as aplicações de uma arquitetura com bancos NoSqls, leia sobre os modelos existentes no mercado. Aprenda sobre os mecanismos de indexação, chave/valor, upsert e as mais variadas funcionalidades. Você irá encontrar estruturas de logs, documentos, grafos e demais estruturas de dados, compreenda as de maior sucesso no mercado e suas integrações.

Hadoop, altamente utilizado quando se fala de projetos Big Data, o Apache Hadoop é uma plataforma de software de código aberto para o armazenamento e processamento distribuído para grandes conjuntos de dados, utilizando clusters de computadores. Os serviços do hadoop fornecem armazenamento, processamento, governança, segurança e operações de Dados. As distribuições consolidadas no mercado são Hortonworks e Cloudera.

Spark, o Apache Spark é um mecanismo de análise unificada para processamento de dados em larga escala, no qual obtém alto desempenho para dados em lote e de fluxo contínuo, usando um agendador de DAG de última geração, um otimizador de consultas e um mecanismo de execução física. Outro grande diferencial é sua compatibilidade em plataformas e ferramentas, sendo disponibilizado para processamento em Hadoop, Kubernetes, Mesos, AWS, AZURE, GCP, entre outras.

Plataformas Cloud, o profissional Big Data, comumente irá trabalhar com arquiteturas na nuvem, tanto 100% cloud, como as denominadas híbridas, cloud x on premise ou cloud x cloud. As plataformas contêm uma infinidade de ferramentas, serviços e funcionalidades para as mais variadas necessidades, como, armazenamentos, processamentos, ingestões, tratamentos, visualizações, machine learning e muitas outras. Sendo de grande ajuda, entender e compreender os mecanismos para acessos e permissões, controle e integrações de usuários e virtualizações. As dominantes no mercado são AWS, GCP e AZURE, emergindo algumas outras como a DigitalOcean, que tem ganhado admiradores.

Mensageria, atualmente, diversas soluções tem arquiteturas para consumo de mensageria, temos o streaming de redes sociais, por exemplo, análise de sentimentos, leituras de páginas com web crawlers, filas e tópicos de mensageria de redes internas corporativas e demais necessidades. Esse conceito funciona como um barramento para mensagens recebidas de uma fonte produtora, no qual as ferramentas fazem a gerencia e controle, disponibilizando funcionalidades para a manipulação do fluxo das informações. Indico fortemente o entendimento de Filas e Tópicos. As ferramentas mais comuns são, Kafka, RabbitMQ, Tibco entre outras.

Com o embasamento desses pilares, você entrará em uma nova fase de entendimento, que abrange suas expectativas e áreas de interesse para atuação no universo Big Data:

• Engenheiro de dados;
• Arquiteto de dados;
• Arquiteto de soluções;
• Desenvolvedor de aplicações;
• Analista de dados;
• Desenvolvedor de visualizações de dados;
• Dev/Ops e/ou administrador de infra estrutura;
• Governança e Segurança;
• Cientista de dados;
• Consultor Big Data;

E o que você quiser… rsrsrs!

Resumindo, o mercado tem uma carência elevada de profissionais, conceitos estão surgindo a todo instante. A Transformação Digital é a verdade do mercado, a informação é o valor e o conhecimento é a nova moeda.

Embarque em seus estudos algumas atitudes e práticas de produtividade. Implemente no seu dia a dia, ferramentas para controle de tarefas e objetivos. Aplique um KANBAN na sua vida, use ferramentas de lembretes como KEEP. Centralize suas anotações, favoritos e estudos em um EVERNOTE. Filtre curadores de conteúdos e os acompanhe diariamente. Leia todos os dias sobre as inovações, tendências, cases e boas práticas do mercado. Compartilhe e discuta os assuntos relativos a seus estudos e aprendizados. Enfim, otimize suas estratégias e expanda seu cabedal de conhecimentos, com isso, tenho certeza que nos veremos por aí!!!

Muito sucesso à todos!!!!

#bigdata #profissoesbigdata #bigdataprofessional #qualificaçoes

O post Quem quer ser um Big Data professional? apareceu primeiro em Estatidados.

A área de dados vem crescendo muito (como comentei em um post anterior, desculpe pelas engasgadas, mas foi o primeiro vídeo que criei e estava um pouco nervoso kkk). Lá comentei sobre algumas profissões, umas mais tradicionais e outras relativamente novas. Aqui iremos comentar mais especificamente na área de Data Science.

As mídias muitos comentam que a “profissão do momento” é Data Scientist e isso fez com que o interesse por essa profissão crescesse demais nos últimos anos e com isso surgem várias dúvidas principalmente para aqueles como Eu, que estão iniciando!

Pensando nisso, resolvi elencar algumas das dúvidas que mais escuto e exponho meu pensamento em relação a cada uma delas, vamos lá…

Perguntas (Question)

• O que preciso saber, quais as skills, pra ser um Cientista de Dados?
• Preciso saber inglês? Ter uma graduação? Ter um mestrado?
• Onde encontro materiais pra estudo, cursos e etc?
• Qual curso devo fazer para me tornar um data scientist?
• Tem vagas no mercado?
• Como faço para ficar mais visível e conseguir uma vaga em data science?
• Como faço pra ganhar R$ 20.000,00, ou mais, por mês como vi em matérias na televisão?

Respostas (Answer)

• O que preciso saber, quais as skills, pra ser um Cientista de Dados?
  • No meu ponto de vista pode ser resumido em 4 grandes pilares
    • Negócio
      • Ter conhecimento de negócio;
      • Saber escutar e falar;
      • Saber negociar e expor opiniões;
      • Saber oferecer soluções para o negócio.
    • Dados
      • SQL – Consultas em BD (relacionais ou não relacionais);
      • Extração e Tratamento de Dados.
    • Programação
      • Lógica e conhecimento de programação é uma outra habilidade, as linguagens mais utilizadas nessa área é Python e R.
    • Matemática e Estatística
      • Muito importante para criar e saber qual a melhor análise, cálculo à serem feitos, métricas e etc.
• Preciso saber inglês? Ter uma graduação? Ter um mestrado?
  • Inglês é fundamental
    • as linguagens de programação e os manuais de suas bibliotecas são em inglês;
    • as médias e grandes empresas são multinacionais, então, é um pré-requisito;
    • os melhores materiais, as novidades do setor, são em inglês.
  • As empresas procuram são profissionais que resolvam problemas e pra isso, a experiencia conta muito mais que um diploma
    • Claro que uma graduação ajuda bastante, um mestrado ajuda ainda mais, mas não são pré-requisitos.
• Onde encontro materiais pra estudo, cursos e etc?
  • Você pode encontrar bons materiais na internet, aqui irei expor algumas das minhas fontes de pesquisas:
    • Blog do Alex Souza (um blog de compartilhamento de conteúdo e links)
    • Mário Filho Data Science (Dicas, Lives, Cursos e etc)
    • Paulo Vasconcellos – Cientista de dados Brasileiro
    • Minerando Dados (Dicas, Vídeos, Cursos e etc)
  • Cursos
    • Mário Filho (Ele tem um gratuito)
    • Minerando Dados
    • Coursera
    • Udemy (tem alguns gratuitos)
    • Data Science Academy (tem alguns gratuitos)
  • Comunidades
    • Pergunte e Ajude outros profissionais, além do network
      • GPDI – Grupo de Profissionais de Dados e Inteligência
      • Data Hackers
      • Data Train
• Qual curso devo fazer para me tornar um data scientist?
  • Não existe um curso que irá lhe tornar um cientista de dados, existem diversos cursos bons nessa área (alguns informei acima) que irá lhe ajudar na caminhada rumo ao seu objetivo. A dica é faça um curso e absorva o máximo de conteúdo, anote os pontos que precisa melhorar (exemplo: programação, estatística, álgebra linear…), pesquise e estude esses pontos por fora (se preferir, faça cursos específicos dessas áreas);
• Tem vagas no mercado?
  • Sim, tem muitas vagas no Mercado, tanto para Cientista de Dados quanto para Engenheiro de Dados (o Engenheiro de Dados é o que monta o alicerce para o Cientista de Dados, é uma área que também tá crescendo muito e no meu ver, as empresas com grandes projetos de Inteligência Artificial devem iniciar por essa área, antes de chamar um Cientista de Dados – isso vai variar de empresa pra empresa, dependendo do tamanho dos projetos e de seus objetivos);
  • Observações
    • Mercado tá precisando de Profissionais no Brasil e no Mundo;
    • Vejo um maior uso de data science nas regiões Sul e Sudeste, mas as demais regiões também estão avançando;
    • Muitas vagas no Exterior que permitem home-office (evita o custo de vida do exterior, principalmente nos EUA);
    • Europa com muitas vagas;
    • Como é uma entrevista de um Cientista de Dados?
• Como faço para ficar mais visível e conseguir uma vaga em data science?
  • Se você ainda não tem, monte um Portfólio de Serviços
    • Onde?
      • no Github
      • em um Blog
    • O que colocar no Portfólio
      • Trabalhos e análises que já realizou relacionados a área
        • pode ser os trabalhos que já fez na universidade
        • trabalhos pessoais
        • Observação
          • procure sempre fazer um projeto do inicio até o final (deploy))
            • O curso do Mario Filho mostra isso!
      • Ou seja, mostre seu potencial! Com isso, ficará mais visível para o mercado.
• Como faço pra ganhar R$ 20.000,00, ou mais, por mês como vi em matérias na televisão?
  • Não se iluda, esse valor não é bem o praticado principalmente aqui no Brasil, claro que tem grandes instituições que pagam esse valor ou até mais, mas são exceções e não regra! Mas a dica é, estude e poderá sim chegar a ganhar esse valor!

Bom pessoal, vou ficando por aqui, foram 7 questões respondidas com base na minha opinião!

#cienciadedados #engenhariadedados #inteligenciaartificial #datascience

O post COMO COMEÇAR NA ÁREA DE DATA SCIENCE? apareceu primeiro em Estatidados.

Olá meus amigos, é com muito alegria que venho compartilhar com vocês entendimentos sobre um assunto que é de grande relevância no mercado, as Plataformas Cloud. 

As plataformas Cloud, entraram e se integraram rapidamente nas estratégias das organizações, viabilizando as demandas de forma rápida, inteligente e com respostas a diversos pontos estratégicos que antes precisavam de planejamentos extensos e altos custos.

Com essa forte aderência, as possibilidades se expandiram, ideias de gavetas foram tracionadas e implementações inovadoras foram realizadas. Conceitos, termos de mercado e tendências, agora podiam ser pensados, solucionados e disponibilizados. As soluções suportavam modularizações, implantações por prioridades e recursos auto gerenciáveis, resultando no principal, dados entregues para as tomadas de decisões.

E então, quais os benefícios que fazem toda essa movimentação valer a pena? Sendo que por muitas vezes, refletem em mudanças de arquitetura e afetam diretamente as estratégias corporativas…

Benefícios de consumir Plataformas Cloud

• Redução de Custos;
• Previsibilidade de investimentos;
• Alta disponibilidade e Escalabilidade;
• Vasto leque de tecnologias e serviços;
• Recursos Auto Gerenciáveis;
• Otimizações e Integrações direcionadas ao Negócio;
• Consumos pontuais e On Demand;
• Gestão estratégica;
• Segurança e acessibilidades;

E por aí vai…

As possibilidades são ilimitadas na ótica de soluções. Uma recorrente estratégia aferida pelas organizações, quando validam, a ideia de aderir ao universos Cloud, é, integrar a/as plataformas como uma expansão do Parque Tecnológico da companhia, visando aumentar o leque de tecnologias e engenharias para gerir e disponibilizar seus dados assertivamente, suportando todas as integrações entre áreas e seu compliance.

Nessa gradativa evolução, 3 grandes players foram dominando o mercado e resolvendo os mais variados cases de negócios. AWS, Azure e GCP. Os players, passaram a disputar cada nova possibilidade, embarcando em suas plataformas mais e mais serviços, componentes e atualizações.

Amazon Web Services (AWS)

Em 2006, a Amazon Web Services (AWS) começou a oferecer serviços de infraestrutura de TI para empresas por meio de serviços web, atualmente conhecidos como Cloud Computing. 

A AWS, teve como seu forte diferencial, quando adentrou ao mercado, o baixo custo, comparando em relação aos investimentos em soluções em servidores On-premise e a excelência em sua arquitetura de armazenamento. Fornecendo até hoje um dos melhores serviços de armazenamento, o S3. Suas máquinas virtuais são baseada no virtualizador Xen, no qual, posteriormente evoluiu para a disponibilização do Elastic Cloud Computing (EC2).

Atualmente a AWS se mantêm como a líder do segmento, provendo:

1. Marketplace muito rico e com o maior número de aplicações de terceiros para consumo e integrações;
2. Abordagem para estratégias de armazenamentos, com baixo custo benefício e funcionalidades de integrações externas;
3. Facilidade de aplicação em engenharias Hadoop com o EMR;
4. Intensivos investimentos para consumos Fast Data e Self Service, disponibilizando novas tecnologias de acesso e consumo dos dados;
5. Arquitetura e tecnologias para desenvolvimento, treinos e automatizações de modelos machine learning;
6. Tecnologias direcionadas para IoT e soluções para evolução dos dados de ponta a ponta;

Microsoft Azure

A apresentação do serviço foi feito no dia 27 de outubro de 2008 durante a Professional Developers Conference, em Los Angeles e lançado em 1 de Fevereiro de 2010 como Windows Azure, para então ser renomeado como Microsoft Azure em 25 de Março de 2014.

Tal como o AWS, o Microsoft Azure foi criado para prestar um conjunto central de serviços de computação, armazenamento, banco de dados e rede. Em muitos casos, ambas as plataformas têm uma equivalência básica entre os produtos e serviços que oferecem. O Azure permite criar soluções altamente disponíveis com base em Hosts do Windows ou do Linux. 

Em termos gerais, o Microsoft Azure funciona como um apoio tecnológico ao negócio. Ele oferece, ao mesmo tempo, um cabedal de tecnologias para infraestrutura (computação, armazenamento, lógica, gestão financeira e etc) e as ferramentas de controle e consumo para transformar esse poder em produtividade.

Pontos de produtividade no uso da Azure:

1. Ótima arquitetura para desenvolvimento de aplicativos e soluções tecnológicas;
2. Gama de ferramentas para controle, versionamento e integração de códigos;
3. Suporte e facilidade de integração para ambientes Data Science;
4. Tecnologias e serviços especializados na qualificação e disponibilização dos dados;
5. Governança e gestão de acessos integrada com os seus consolidados e mais tradicionais serviços (Outlook e Active Directory);
6. Facilidade em implementar soluções Big Data, Analytics e Machine Learning;

Google Cloud Platform (GCP)

Fundada em 06 de Outubro de 2011 pela Google inc, é um conjunto de nuvem pública de serviços de computação. A plataforma contempla serviços computacionais, armazenamentos e desenvolvimento de aplicativos.

Embora a Google tenha sido a lanterninha em disponibilização de serviços especializados e direcionados a resolução de problemas de negócio na nuvem, muitos outros serviços já estão consolidados e dominam o segmento. As estratégias de marketing, difusão e consumos não param de crescer. Você provavelmente já deve ter utilizado algumas das aplicações do Google Cloud Platform em seu dia a dia sem perceber, como ao acessar o g-mail, ou armazenar arquivos no Google Drive, Google Docs, entre outros, que hoje são denominados componentes do G-Suite. Essas tecnologias já estão amplamente difundidas, integradas e direcionadas aos mais variados cases de negócio, atendendo com qualidade os mais complexos problemas de negócio e estratégias organizacionais.

Em vista da excelência dos serviços da Google, sua Cloud oferece como diferenciais:

1. Interface de gerenciamento dos serviços clean e muito intuitiva;
2. Forte integração com todos os seus produtos, serviços e APIs;
3. Preços bem mais competitivo que seus concorrentes;
4. Alto investimento e atualizações em seus recursos para Data Science, Machine Learning e Deep Learning;
5. Ferramentas de consumo de dados com ótima usabilidade e com suporte a altas volumetrias;
6. Boa documentação e grande integração com a linguagem Python para suas APIs e serviços;

Conclusão

O Mercado atual pede uma flexibilidade nunca vista antes, um dinamismo que entregue segurança, usabilidade e alta disponibilidade. Com essas premissas, as empresas validam diversos cenários e fazem profundos comparativos, para assim, implementar suas necessidades na plataforma que melhor se adeque ás suas soluções, ou mesmo, utilizar recursos de várias plataformas integradas.

Parcerias e estudos fortalecem cada vez mais esse crescimento, tecnologias de virtualização, resultados e aplicabilidades de DevOps, impulsionam a confiança e o uso. O setor com maior resistência para subir às nuvens, o financeiro, começou a tracionar soluções com modelos de segurança customizados e movimentar regulamentações para que essas evoluções, virem realidade. Com tudo isso acontecendo, Cloud está se tornando uma necessidade para as organizações.

Em minhas experiências, considero:

Azure, uma ótima plataforma, com muitas funcionalidades para desenvolvimento de aplicações e recursos genéricos. Seus serviços para engenharia de dados, como DataFactory e HDInsights são intuitivos e de fácil integração. Possibilitando criar-se uma esteira completa de DevOps, com toda a integração e segurança de um ambiente de desenvolvimento até a cadeia de processos em produção de forma automatizada e governada.

GCP, em trabalhos voltados a modelos Deep/Machine Learning, para treinos e implementações de modelos produtivos, obtive muitas facilidades com recursos como o Google ML Engine, e APIs como Cloud Vision. Voltado a ingestões e transformações, o DataFlow possui suas particularidades e complexidades, mas suporta pipelines com altas volumetrias, parametrizações e soluções escaláveis e auto gerenciável. Tecnologias direcionadas ao Negócio, para consumo Analytics e Analytics Advanced, como o BigQuery e o DataPrep, são muito, muito boas. Simples, integradas e intuitivas.

AWS, com recursos que facilitam muito a vida, tanto para a publicação de modelos e o uso do AWS Lambda, as possibilidades e facilidade de implementação são excelentes. Com o diferencial de ter uma vasta lista de tecnologias e recursos, nativos e de terceiros, desenhar uma solução ou uma arquitetura se faz variada e com maior assertividade de custos. Tecnologias como o SageMaker e os recursos para Algoritmos integram em minutos uma esteira de Data Science. Embora os custos sejam o maior dentre as 3 plataformas, sua excelência em termos de arquitetura vale o investimento.

Resumindo, todas as minhas experiências com as plataformas Cloud, foram muito proveitosas, consegui implementar todos os planejamentos e muitas vezes de forma mais simples do que o esperado. Citar apenas uma como a melhor não é inteligente, visto que nos tempos atuais as organizações validam cada vez mais, opções e custos. Podemos ter soluções Híbridas, (CLOUD x CLOUD), (CLOUD x ON PREMISE) e (CLOUD x ON PREMISE x CLOUD) e etc.

Lembrando também que, a IBM e Oracle estão fortalecendo parcerias, disparando iniciativas e abordagens de marketing para entrar nessa briga de gente grande.

O poder dessas plataformas é magnífico. Indico seus estudos o quanto antes, não percam tempo, o futuro e a inovação, andam de mãos dadas com o mundão Cloud.

Muito obrigado pelo tempo e sucesso para nós todos!!!!

Linkedin:
https://www.linkedin.com/in/david-braga-analyst/

#cloud #cloudcomputing #bigdata

O post Plataformas Cloud, alcançando as nuvens. apareceu primeiro em Estatidados.

Olá pessoal !!! É com grande prazer que trago esse conteúdo, com o intuito de desmistificar o entendimento sobre esse termo tão atual e difundido no mercado.

Data Lake…

O que é Data Lake? Data Lake é uma estratégia de dados, no qual uma organização integra tecnologias, arquiteturas, soluções, e processos para o armazenamento, gerência, segurança e consumo dos dados.

Por que implementar uma estratégia Data Lake? Atualmente, o maior poderio das organizações, são seus dados. Com esse fundamento consolidado pelo mercado, as empresas buscam cada vez mais se enquadrar em modelos inovadores, aplicar transformações digitais, automatizações inteligentes, explorar ambientes analíticos e de Big Data. Com um Data Lake, ingestões, transformações e disponibilizações são otimizadas, conceitos FAST DATA são habilitados e a governança permissiona, policia e padroniza o ciclo de vida e a qualidade das informações.

Para facilitar o entendimento, faremos um exercício simulando um cenário realista, no qual, iremos desenvolver e implementar um projeto. Nossa demanda, irá, implantar um Data Lake como repositório centralizador de todas as fontes definidas como necessárias, para uma primeira onda de integração de dados em uma esteira produtiva e provendo suas disponibilizações para consumo.

Premissas do projeto:

1. Teremos que, carregar dados em lote;
2. Carregar dados streaming das redes sociais e disponibilizar em real time;
3. Disponibilizar 3 camadas para modelagem dos dados;
4. Aplicar segregação lógica para as áreas da organização;
5. Implementar processos de governança;
6. Disponibilizar dashboards e front ends;

Ao trabalho…

PASSO 1 – Definição de fontes:

Nesse passo, alinhamos e definimos as fontes que serão ingeridas na esteira do Data Lake. Teremos, redes sociais, arquivos, arquivos manuais e bases relacionais.

PASSO 2 – Estrutura de armazenamento:

Nesse passo, validamos e elegemos a tecnologia que usaremos. Será, um storage S3 AWS, para os armazenamentos e demais processos de navegação e consumo dos dados.

PASSO 3 – Ingestões Lote:

Nesse passo, proveremos scripts e tecnologias para as ingestões de bases relacionais, arquivos de sistemas e arquivos manuais, pousando em um camada stage(temporária).

PASSO 4 – Dados Brutos:

Moveremos os arquivos da camada STAGE para a camada de DADOS BRUTOS, onde serão persistido em tabelas, estrutura de diretórios e gerenciado por partições. Nesse nível os dados serão gravados sem nenhuma tranformação. Essa camada é para a persistência do dado em seu detalhe e granularização.

PASSO 5 – Dados Consolidados:

Nesse passo, iremos carregar a camada de dados consolidados, que será voltada a estruturar todos os dados, de todos os tipos e formatos. Aqui, ocorrem as tranformações, uniões, enriquecimentos, formatações e padronizações.

PASSO 6 – Dados Prontos:

Pós estruturarmos todos os arquivos de todos os formatos para modelos estruturados, podemos aplicar outras transformações para qualificar e disponibilizar as informações. Nessa camada, dados prontos, teremos dimensões, agregações, sumarizações, modelos e indicadores. Atribuímos todas as regras de negócios e as disponibilizamos para consumo.

PASSO 7 – Ingestões Real Time:

Agora iremos ingerir e disponibilizar as informações provenientes das redes sociais, usaremos mecanismos de streaming, para mapear perfis e hashtags correlacionadas a marca da organização, disponibilizando diretamente na camada de dados prontos.

PASSO 8 – Segregações lógicas:

Nessa etapa, depois de todas as camadas estarem sendo carregadas e com as regras de acordo, precisamos aplicar mecanismos para a organização e segurança das informações. Implementamos segregações lógicas para separar informações por área, conforme as premissas definiam. Com isso, criamos permissões e acessibilidades para grupos e usuários.

PASSO 9 – Governança de Dados:

Integrando ao processo de segurança, embarcaremos as políticas e padrões da governança para cada camada de dados, no qual, habilitaremos a visão do ciclo de vida do dado, linhagem e maturidade da informação. Os processos serão otimizados e haverão métricas constantes para monitoramento, atualizações e manutenções.

PASSO 10 – Consumidores:

Depois de construirmos todo o pipeline, integrando, soluções, arquiteturas e processos, estamos aptos a prover a premissa final da entrega, os dashboards e front end. Nessa etapa, temos dados com qualidade e disponibilidade, podendo ser consumidos por pessoas, sistemas, ferramentas e demais necessidades.

Entrega concluída, UHUUU!!

Para facilitar o entendimento do consumo de um Data Lake, abordaremos as funções e onde alguns profissionais (normalmente) podem consumir os dados e informações.

(StoryTeller) Analista de visualização de dados:

Ele será um consumidor das informações disponibilizadas, a responsabilidade e o papel do profissional (StoryTeller) Analista de visualização de dados, é contar a história dos dados, demonstrar e produzir as melhores visões das informações, manipular ferramentas e gerar gráficos, dashboards, indicadores, planilhas e o que mais a necessidade demandar.

Cientista de Dados:

Fazendo uso do conceito Fast Data e por meio dos mecanismos de acessibilidade aos dados, o “menino(a) dos olhos” do mercado atual, será responsável por consumir (normalmente) as camadas de dados brutos e dados consolidados. Na camada de dados brutos, ele irá minerar, correlacionar, unir, mapear e estruturar modelagens lógicas para busca de padrões, modelos e etc. Na camada consolidada, irá gerar modelos, insights e tudo que for entrega de valor para a organização.

Analista de Negócio:

O mercado atual está em grande busca de produtividade e otimização de seus processos para consumo dos dados.O Fast Data habilita a integração dos profissionais da área de negócio diretamente aos dados, sem a necessidade de solicitações para a área de TI, isso diminui muito o delay no processo, aproxima o negócio da TI, possibilita que eles também façam trabalhos analíticos e tracionem a entrega de valor para a organização. Normalmente consomem as camadas de dados consolidados e dados prontos, já que comumente não dominam mecanismos de engenharia, porém conhecem bem as regras de negócio que permeiam nessas camadas.

Engenheiro de Dados:

Esse cara é responsável por construir, manter, atualizar e disponibilizar todo o pipeline das informações, englobando suas tecnologias, processos, arquiteturas, infra estruturas e os mecanismos de funcionamentos.

Esse vídeo/gif mostra nossa entrega…

É isso pessoal, muito obrigado pelo apoio, ficarei muito feliz com feedbacks e sugestões.

Até a próxima!!! Sucesso à TODOS!!!

David Braga:

https://www.linkedin.com/in/david-braga-analyst/

O post Data Lake, de ponta a ponta! apareceu primeiro em Estatidados.