<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Arquivos David Braga - Estatidados</title>
	<atom:link href="http://estatidados.com.br/category/professores-colaboradores/david_braga/feed/" rel="self" type="application/rss+xml" />
	<link>http://estatidados.com.br</link>
	<description>Comunidade de Estatística</description>
	<lastBuildDate>Thu, 09 Jun 2022 20:12:55 +0000</lastBuildDate>
	<language>pt-BR</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.0.5</generator>
	<item>
		<title>Quem quer ser um Big Data professional?</title>
		<link>http://estatidados.com.br/quem-quer-ser-um-big-data-professional/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=quem-quer-ser-um-big-data-professional</link>
					<comments>http://estatidados.com.br/quem-quer-ser-um-big-data-professional/#respond</comments>
		
		<dc:creator><![CDATA[admin]]></dc:creator>
		<pubDate>Fri, 28 Aug 2020 15:08:33 +0000</pubDate>
				<category><![CDATA[ciencia de dados]]></category>
		<category><![CDATA[David Braga]]></category>
		<category><![CDATA[Engenharia de dados e Big data]]></category>
		<guid isPermaLink="false">http://estatidados.com.br/?p=389</guid>

					<description><![CDATA[<p>Já fazem mais de 5 anos, com Big Data na veia, tenho percorrido diversos projetos e ambientes diferentes. Anteriormente minha postura de trabalho e minha vontade eram apenas de ter minha cadeira, uma máquina&#160;boa para se trabalhar e esperar as<a class="leiamais" href="http://estatidados.com.br/quem-quer-ser-um-big-data-professional/" title="Quem quer ser um Big Data professional?">...[Continuar lendo]</a></p>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/quem-quer-ser-um-big-data-professional/">Quem quer ser um Big Data professional?</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGRDAT-k9BR2A/article-cover_image-shrink_720_1280/0?e=1603929600&amp;v=beta&amp;t=Uf1mHLcVWOhgmBMJnE7Q7M2PUMcDxV47G-Dwkb71WG0" alt=""/></figure>



<p>Já fazem mais de 5 anos, com Big Data na veia, tenho percorrido diversos projetos e ambientes diferentes.</p>



<p>Anteriormente minha postura de trabalho e minha vontade eram apenas de ter minha cadeira, uma máquina&nbsp;boa para se trabalhar e esperar as requisições, especificações e as demandas. Eu que, era um profissional de sistemas WEB, microsoft, sempre com metodologias de projetos fixas, com etapas e processos controlados á risca, muitas vezes engessados. Certo dia, muito incomodado com o marasmo&nbsp;em minha carreira, leio um artigo que não lembro mais a referência, citando, o conceito BIG DATA e suas possíveis aplicabilidades. Aquilo foi um instante maravilhoso, me apaixonei pela ideia, havia encontrado o que acreditava que realmente traria mudanças no mundo da TI.&nbsp;</p>



<p>E por que, eu sentia essa sensação de ser algo tão revolucionário?</p>



<p>Antes eu entrava em um novo ambiente de trabalho e rapidamente avistava as mesmas posições de lideranças,&nbsp;preenchidas por alguns profissionais que conheciam afundo certas tecnologias em alta no mercado, muitas vezes sem embasamento estratégico ou mesmo humano, profissionais de Oracle, Teradata, MicroStrategy, SaS entre outras tecnologias. Esses profissionais direcionavam as atividades e demandas da área, embutido de burocracias e metodologias que se usavam por anos, sem nenhuma releitura ou adaptação. Diga-se de passagem, muitos escondiam o conhecimento e até limitavam a expansão da própria área e seus projetos.</p>



<p>Parecia que o caminho para o crescimento profissional, era então, ser um profissional igual? Investir em certificações caríssimas e cursos sem didática alguma? Apenas com o mérito de ser apto a responder sobre questões daquele quadradinho que vivenciava dia a dia, no qual, em pouquíssimas situações se enxergava a visão estratégica da organização.</p>



<blockquote class="wp-block-quote"><p>&#8230; em pouquíssimas situações se enxergava a visão estratégica da organização.</p></blockquote>



<p>Foi então, que, consegui uma grande oportunidade em um projeto Big Data, um projeto com alta criticidade e complexidade envolvida, um dos primeiros cases do Brasil, multinacional de telecomunicações, um investimento em constante avaliação interna de seus resultados. E qual o diferencial para tudo o que eu conhecia?&nbsp;</p>



<p>De cara, tive acesso a profissionais pensadores, pessoas renomadas, estrangeiros de alto nível, simpáticos e bem humorados, compartilhadores de ideias e conhecimentos. Havia visibilidade na estratégia corporativa, sabedoria sobre qual a ideia macro, qual a minha responsabilidade ali naquele time e o quão eu poderia evoluir e&nbsp;trazer mais resultados e o melhor de tudo, trazer ideias.</p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQFAxCJk4m-kug/article-inline_image-shrink_1500_2232/0?e=1603929600&amp;v=beta&amp;t=oJu_jG0Eb35D9WzXvnO9KXzMYCoJaUcos55izLO6J-c" alt=""/></figure>



<p>Dali em diante, fui acompanhando a ascensão Big Data no mercado e simploriamente falando, avistei o acontecimento de uma onda de mudanças.</p>



<ul><li>Muitas culturas se adaptaram;</li><li>Informações e suas disponibilidades evoluíram em termos de qualidade e confiabilidade;</li><li>Projetos e metodologias se atualizaram para acompanhar a velocidade das demandas e entregas;</li><li>Entregas foram remodeladas, modularizadas e integradas em esteiras estratégicas;</li><li>Surgiram novas profissões, como engenheiro de dados, analista de dados, arquiteto de dados, cientista de dados, entre outras;</li><li>O&nbsp;<strong>clico de vida</strong>&nbsp;do dado virou mola motor de todas as estratégias corporativas.</li><li>Explodiu os conceitos de Machine Learning, Deep Learning, Inteligência Artificial, IoT e Analytics.</li><li>O negócio hoje caminha fortemente junto a TI;</li><li>A Governança está cada vez mais difundida e aplicada;</li><li>A Segurança da informação virou uma necessidade;</li><li>Novos profissionais são reconhecidos pela vontade de aprender e pelo que já podem oferecer, líderes não tem idade mínima, o autodidata tem poder e títulos são adendos em busca do conhecimento;</li><li>Startups tracionam o mercado e giram a economia, EdTechs impulsionam a educação, novas tecnologias entregam qualidade de vida e salvam vidas.</li><li>Plataformas fomentam conhecimentos, arquiteturas são ilimitadas, Cloud Computing expandiu exponencialmente as fronteiras;</li><li>Digitalização e Virtualização tornaram-se premissas para qualquer arquitetura;</li></ul>



<p>E por aí vai&#8230; UUFA!!</p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQENzwF7Fp7AwQ/article-inline_image-shrink_1500_2232/0?e=1603929600&amp;v=beta&amp;t=IHVloikw4POb23X_p0GJ_FoQkgqCH-RqaZQcXY3dcOI" alt=""/></figure>



<p>Muito disso é até desassociado do Big Data, mas tenho profunda crença que o gatilho sem dúvidas foi a ideia BIG DATA.</p>



<p>E nessa jornada, conheci diversos profissionais, muitos satisfeitos em sua área e suas posições, porém sempre encontro os que me perguntam, como posso fazer&nbsp;para&nbsp;ingressar no Big Data? Posso dizer que, ver a transição como uma mudança&nbsp;<strong><em>vertical</em></strong>&nbsp;não é o melhor prisma, agregue como uma bagagem&nbsp;<strong><em>horizontal</em></strong>, você irá&nbsp;expandir seu leque de conhecimento, a chave para a busca da excelência e sucesso é sem dúvidas se atualizar constantemente sobre as tendências, inovações e conteúdos que aportam no mercado.</p>



<p>Seus entendimento necessários são:</p>



<p><strong><em>Data Lake</em></strong>, entenda o máximo sobre as estratégias de dados, sobre segregação lógica e física das informações, qualidade e segurança dos dados e metadados. Absorva conhecimentos sobre as melhores abordagens utilizadas pelos cases de sucesso e variedades do mercado, em segmentos e necessidades diferentes.</p>



<p><strong><em>NoSql</em></strong>, esse conceito é muito importante, uma grande dificuldade é a quantidade de atualizações que o profissional deve ter sobre ferramentas, entenda&nbsp;as aplicações de uma arquitetura com bancos NoSqls, leia sobre os modelos existentes no mercado. Aprenda sobre os mecanismos de indexação, chave/valor, upsert e as mais variadas funcionalidades. Você irá encontrar estruturas de logs, documentos, grafos e demais estruturas de dados, compreenda as de maior sucesso no mercado e suas integrações.</p>



<p><strong><em>Hadoop</em></strong>, altamente utilizado quando se fala de projetos Big Data,&nbsp;o&nbsp;<strong>Apache Hadoop</strong>&nbsp;é uma plataforma de software de código aberto para o armazenamento e processamento distribuído para grandes conjuntos de dados, utilizando clusters de computadores. Os serviços do hadoop fornecem armazenamento, processamento, governança, segurança e operações de Dados. As distribuições consolidadas no mercado são&nbsp;<strong>Hortonworks&nbsp;</strong>e&nbsp;<strong>Cloudera</strong>.</p>



<p><strong><em>Spark</em></strong>, o Apache Spark é um mecanismo de análise unificada para processamento de dados em larga escala, no qual obtém alto desempenho para dados em lote e de fluxo contínuo, usando um agendador de DAG de última geração, um otimizador de consultas e um mecanismo de execução física. Outro grande diferencial é sua compatibilidade em plataformas e ferramentas, sendo disponibilizado para processamento em Hadoop, Kubernetes, Mesos, AWS, AZURE, GCP, entre outras.</p>



<p><strong><em>Plataformas Cloud</em></strong>, o profissional Big Data, comumente irá trabalhar com arquiteturas na nuvem, tanto 100% cloud, como as denominadas híbridas,&nbsp;<strong>cloud x on premise</strong>&nbsp;ou&nbsp;<strong>cloud x cloud</strong>. As plataformas contêm uma infinidade de ferramentas, serviços e funcionalidades para as mais variadas necessidades, como, armazenamentos, processamentos, ingestões, tratamentos, visualizações, machine learning e muitas outras. Sendo de grande ajuda, entender e compreender os mecanismos para acessos e permissões, controle e integrações de usuários e virtualizações. As dominantes no mercado são AWS, GCP e AZURE, emergindo algumas outras como a DigitalOcean, que tem ganhado admiradores.</p>



<p><strong><em>Mensageria</em></strong>, atualmente, diversas soluções tem arquiteturas para consumo de mensageria, temos o streaming de redes sociais, por exemplo, análise de sentimentos, leituras de páginas com web crawlers, filas e tópicos de mensageria de redes internas corporativas e demais necessidades. Esse conceito funciona como um barramento para mensagens recebidas de uma fonte produtora, no qual as ferramentas fazem a gerencia e controle, disponibilizando funcionalidades para a manipulação do fluxo das informações. Indico fortemente o entendimento de Filas e Tópicos. As ferramentas mais comuns são, Kafka, RabbitMQ, Tibco entre outras.</p>



<p>Com o embasamento desses pilares, você entrará em uma nova fase de entendimento, que abrange suas expectativas e áreas de interesse para atuação no universo Big Data:</p>



<ul><li><strong>Engenheiro de dados;</strong></li><li><strong>Arquiteto de dados;</strong></li><li><strong>Arquiteto de soluções;</strong></li><li><strong>Desenvolvedor de aplicações;</strong></li><li><strong>Analista de dados;</strong></li><li><strong>Desenvolvedor de visualizações de dados;</strong></li><li><strong>Dev/Ops e/ou administrador de infra estrutura;</strong></li><li><strong>Governança e Segurança;</strong></li><li><strong>Cientista de dados;</strong></li><li><strong>Consultor Big Data;</strong></li></ul>



<p>E o que você quiser&#8230; rsrsrs!</p>



<p>Resumindo, o mercado tem uma carência elevada de profissionais, conceitos estão surgindo a todo instante. A Transformação Digital é a verdade do mercado, a informação é o valor e o conhecimento é a nova moeda.</p>



<p>Embarque em seus estudos algumas atitudes e práticas de produtividade. Implemente no seu dia a dia, ferramentas para controle de tarefas e objetivos. Aplique um KANBAN na sua vida, use ferramentas de lembretes como KEEP. Centralize suas anotações, favoritos e estudos em um EVERNOTE. Filtre curadores de conteúdos e os acompanhe diariamente. Leia todos os dias sobre as inovações, tendências, cases e boas práticas do mercado. Compartilhe e discuta os assuntos relativos a seus estudos e aprendizados. Enfim, otimize suas estratégias e expanda seu cabedal de conhecimentos, com isso, tenho certeza que nos veremos por aí!!!</p>



<p>Muito sucesso à todos!!!!</p>



<p>#bigdata #profissoesbigdata #bigdataprofessional #qualificaçoes</p>



<figure class="wp-block-embed-youtube wp-block-embed is-type-video is-provider-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe loading="lazy" title="Data Lake - Prof  David Braga - Parte 1" width="500" height="281" src="https://www.youtube.com/embed/shnrcCakV7M?feature=oembed" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
</div></figure>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/quem-quer-ser-um-big-data-professional/">Quem quer ser um Big Data professional?</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></content:encoded>
					
					<wfw:commentRss>http://estatidados.com.br/quem-quer-ser-um-big-data-professional/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Plataformas Cloud, alcançando as nuvens.</title>
		<link>http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=plataformas-cloud-alcancando-as-nuvens</link>
					<comments>http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/#respond</comments>
		
		<dc:creator><![CDATA[admin]]></dc:creator>
		<pubDate>Tue, 25 Aug 2020 18:09:36 +0000</pubDate>
				<category><![CDATA[Cloud]]></category>
		<category><![CDATA[David Braga]]></category>
		<category><![CDATA[Engenharia de dados e Big data]]></category>
		<guid isPermaLink="false">http://estatidados.com.br/?p=368</guid>

					<description><![CDATA[<p>Olá meus amigos, é com muito alegria que venho compartilhar com vocês entendimentos sobre um assunto que é de grande relevância no mercado, as Plataformas Cloud.&#160; As plataformas Cloud, entraram e se integraram rapidamente nas estratégias das organizações, viabilizando as<a class="leiamais" href="http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/" title="Plataformas Cloud, alcançando as nuvens.">...[Continuar lendo]</a></p>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/">Plataformas Cloud, alcançando as nuvens.</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQEgUofuKTuJrA/article-cover_image-shrink_423_752/0?e=1603929600&amp;v=beta&amp;t=GTuwOYkUOAy6YEgGr1jiEa4-sIQBdzo1qEScCAhTHy0" alt="Um passo para a nuvem de possibilidades..."/></figure>



<p>Olá meus amigos, é com muito alegria que venho compartilhar com vocês entendimentos sobre um assunto que é de grande relevância no mercado, as Plataformas Cloud.&nbsp;</p>



<p>As plataformas Cloud, entraram e se integraram rapidamente nas estratégias das organizações, viabilizando as demandas de forma rápida, inteligente e com respostas a diversos&nbsp;pontos estratégicos que antes precisavam de planejamentos extensos e altos custos.</p>



<p>Com essa forte aderência, as possibilidades se expandiram, ideias de gavetas foram tracionadas e implementações inovadoras foram realizadas. Conceitos, termos de mercado e tendências, agora podiam ser pensados, solucionados e disponibilizados. As soluções suportavam modularizações, implantações por prioridades e recursos auto gerenciáveis, resultando no principal, dados entregues para as tomadas de decisões.</p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGNf45qtO4Siw/article-inline_image-shrink_1000_1488/0?e=1603929600&amp;v=beta&amp;t=IrilxcGY2hlYHr0jvFY-GS0vgxaoPnQe2eiJRATGolE" alt="Delivery and Automation"/></figure>



<p>E então, quais os benefícios que fazem toda essa movimentação valer a pena? Sendo que por muitas vezes, refletem em mudanças de arquitetura e afetam diretamente as estratégias corporativas&#8230;</p>



<p><strong>Benefícios de consumir Plataformas Cloud</strong></p>



<ul><li>Redução de Custos;</li><li>Previsibilidade de investimentos;</li><li>Alta disponibilidade e Escalabilidade;</li><li>Vasto leque de tecnologias e serviços;</li><li>Recursos Auto Gerenciáveis;</li><li>Otimizações e Integrações direcionadas ao Negócio;</li><li>Consumos pontuais e On Demand;</li><li>Gestão estratégica;</li><li>Segurança e acessibilidades;</li></ul>



<p>E por aí vai&#8230;</p>



<p>As possibilidades são ilimitadas na ótica de soluções. Uma recorrente estratégia aferida pelas organizações, quando validam, a ideia de aderir ao universos Cloud, é, integrar a/as plataformas como uma expansão do Parque Tecnológico da companhia, visando aumentar o leque de tecnologias e engenharias para gerir e disponibilizar seus dados assertivamente, suportando todas as integrações entre áreas e seu compliance.</p>



<p>Nessa gradativa evolução, 3 grandes players foram dominando o mercado e resolvendo os mais variados cases de negócios.&nbsp;<strong>AWS, Azure e GCP</strong>. Os players, passaram a disputar cada nova possibilidade, embarcando em suas plataformas mais e mais serviços, componentes e atualizações.</p>



<h2><strong><u>Amazon Web Services (AWS)</u></strong></h2>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQFO4Pj7CmpiSQ/article-inline_image-shrink_1000_1488/0?e=1603929600&amp;v=beta&amp;t=wuKbze_oTHzp2FLi80DBThiWQjBI3AI-Xb3NnFSYoj0" alt="No alt text provided for this image"/></figure>



<p>Em 2006, a Amazon Web Services (AWS) começou a oferecer serviços de infraestrutura de TI para empresas por meio de serviços web,&nbsp;atualmente conhecidos como Cloud Computing.&nbsp;</p>



<p>A AWS, teve como seu forte diferencial, quando adentrou ao mercado, o baixo custo, comparando em relação aos investimentos em soluções em servidores On-premise e a excelência em sua arquitetura de armazenamento. Fornecendo até hoje um dos melhores serviços de armazenamento, o S3. Suas máquinas virtuais são baseada no virtualizador Xen, no qual, posteriormente evoluiu para a disponibilização do Elastic Cloud Computing (EC2).</p>



<p><strong>Atualmente a AWS se mantêm como a líder do segmento, provendo:</strong></p>



<ol><li>Marketplace muito rico e com o maior número de aplicações de terceiros para consumo e integrações;</li><li>Abordagem para estratégias de armazenamentos, com baixo custo benefício e funcionalidades de integrações externas;</li><li>Facilidade de aplicação em engenharias Hadoop com o EMR;</li><li>Intensivos investimentos para consumos Fast Data e Self Service, disponibilizando novas tecnologias de acesso e consumo dos dados;</li><li>Arquitetura e tecnologias para desenvolvimento, treinos e automatizações de modelos machine learning;</li><li>Tecnologias direcionadas para IoT e soluções para evolução dos dados de ponta a ponta;</li></ol>



<h2><strong><u>Microsoft Azure</u></strong></h2>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQEY8eI_wYYCnQ/article-inline_image-shrink_1000_1488/0?e=1603929600&amp;v=beta&amp;t=D5jRKIOXjYLvfjVwmHdablx-tLcXM_pSnGWOT76dAzQ" alt="No alt text provided for this image"/></figure>



<p>A apresentação do serviço foi feito no dia 27 de outubro de 2008 durante a Professional Developers Conference, em Los Angeles e lançado em 1 de Fevereiro de 2010 como Windows Azure, para então ser renomeado como Microsoft Azure em 25 de Março de 2014.</p>



<p>Tal como o AWS, o Microsoft Azure foi criado para prestar um conjunto central de serviços de computação, armazenamento, banco de dados e rede.&nbsp;Em muitos casos, ambas as plataformas têm uma equivalência básica entre os produtos e serviços que oferecem.&nbsp;O Azure permite criar soluções altamente disponíveis com base em Hosts do Windows ou do Linux.&nbsp;</p>



<p>Em termos gerais, o Microsoft Azure funciona como um apoio tecnológico ao negócio. Ele oferece, ao mesmo tempo, um cabedal de tecnologias para infraestrutura (computação, armazenamento, lógica, gestão financeira e etc) e as ferramentas de controle e consumo para transformar esse poder em produtividade.</p>



<p><strong>Pontos de produtividade no uso da Azure:</strong></p>



<ol><li>Ótima arquitetura para desenvolvimento de aplicativos e soluções tecnológicas;</li><li>Gama de ferramentas para controle, versionamento e integração de códigos;</li><li>Suporte e facilidade de integração para ambientes Data Science;</li><li>Tecnologias e serviços especializados na qualificação e disponibilização dos dados;</li><li>Governança e gestão de acessos integrada com os seus consolidados e mais tradicionais serviços (Outlook e Active Directory);</li><li>Facilidade em implementar soluções Big Data, Analytics e Machine Learning;</li></ol>



<h2><strong><u>Google Cloud Platform (GCP)</u></strong></h2>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQFafMx06a48DQ/article-inline_image-shrink_1500_2232/0?e=1603929600&amp;v=beta&amp;t=5yPRIN1BZLS5uJl5Bod9c0UBBvdms3d0ipUof2yLtT8" alt="No alt text provided for this image"/></figure>



<p>Fundada em 06 de Outubro de 2011 pela Google inc, é um conjunto de nuvem pública de serviços de computação. A plataforma contempla serviços computacionais, armazenamentos e desenvolvimento de aplicativos.</p>



<p>Embora a Google tenha sido a lanterninha em disponibilização de serviços especializados e direcionados a resolução de problemas de negócio na nuvem, muitos outros serviços já estão consolidados e dominam o segmento. As estratégias de marketing, difusão e consumos não param de crescer. Você provavelmente já deve ter utilizado algumas das aplicações do Google Cloud Platform em seu dia a dia sem perceber, como ao acessar o g-mail, ou armazenar arquivos no Google Drive, Google Docs, entre outros, que hoje são denominados componentes do G-Suite. Essas tecnologias já estão amplamente difundidas, integradas e direcionadas aos mais variados cases de negócio, atendendo com qualidade os mais complexos problemas de negócio e estratégias organizacionais.</p>



<p><strong>Em vista da excelência dos serviços da Google, sua Cloud oferece como diferenciais:</strong></p>



<ol><li>Interface de gerenciamento dos serviços clean e muito intuitiva;</li><li>Forte integração com todos os seus produtos, serviços e APIs;</li><li>Preços bem mais competitivo que seus concorrentes;</li><li>Alto investimento e atualizações em seus recursos para Data Science, Machine Learning e Deep Learning;</li><li>Ferramentas de consumo de dados com ótima usabilidade e com suporte a altas volumetrias;</li><li>Boa documentação e grande integração com a linguagem Python para suas APIs e serviços;</li></ol>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQF3ETUPERn6mQ/article-inline_image-shrink_1000_1488/0?e=1603929600&amp;v=beta&amp;t=p8Xdx_zdEd_TGaLGSFJ-qpxiuV438C8RZ1m7f4y0H20" alt="No alt text provided for this image"/></figure>



<h2><strong>Conclusão</strong></h2>



<p>O Mercado atual pede uma flexibilidade nunca vista antes, um dinamismo que entregue segurança, usabilidade e alta disponibilidade. Com essas premissas, as empresas validam diversos cenários e fazem profundos comparativos, para assim, implementar suas necessidades na plataforma que melhor se adeque ás suas soluções, ou mesmo, utilizar recursos de várias plataformas integradas.</p>



<p>Parcerias e estudos fortalecem cada vez mais esse crescimento, tecnologias de virtualização, resultados e aplicabilidades de DevOps, impulsionam a confiança e o uso. O setor com maior resistência para subir às nuvens, o financeiro, começou a tracionar soluções com modelos de segurança customizados e movimentar regulamentações para que essas evoluções, virem realidade. Com tudo isso acontecendo, Cloud está se tornando uma necessidade para as organizações.</p>



<p><strong><em>Em minhas experiências, considero:</em></strong></p>



<p><strong>Azure,&nbsp;</strong>uma ótima plataforma, com muitas funcionalidades para desenvolvimento de aplicações e recursos genéricos. Seus serviços para engenharia de dados, como DataFactory e HDInsights são intuitivos e de fácil integração. Possibilitando criar-se uma esteira completa de DevOps, com toda a integração e segurança de um ambiente de desenvolvimento até a cadeia de processos em produção de forma automatizada e governada.</p>



<p><strong>GCP</strong>, em trabalhos voltados a modelos Deep/Machine Learning, para treinos e implementações de modelos produtivos, obtive muitas facilidades com recursos como o Google ML Engine, e APIs como Cloud Vision. Voltado a ingestões e transformações, o DataFlow possui suas particularidades e complexidades, mas suporta pipelines com altas volumetrias, parametrizações e soluções escaláveis e auto gerenciável. Tecnologias direcionadas ao Negócio, para consumo Analytics e Analytics Advanced, como o BigQuery e o DataPrep, são muito, muito boas. Simples, integradas e intuitivas.</p>



<p><strong>AWS</strong>, com recursos que facilitam muito a vida, tanto para a publicação de modelos e o uso do AWS Lambda, as possibilidades e facilidade de implementação são excelentes. Com o diferencial de ter uma vasta lista de tecnologias e recursos, nativos e de terceiros, desenhar uma solução ou uma arquitetura se faz variada e com maior assertividade de custos. Tecnologias como o SageMaker e os recursos para Algoritmos integram em minutos uma esteira de Data Science. Embora os custos sejam o maior dentre as 3 plataformas, sua excelência em termos de arquitetura vale o investimento.</p>



<p>Resumindo, todas as minhas experiências com as plataformas Cloud, foram muito proveitosas, consegui implementar todos os planejamentos e muitas vezes de forma mais simples do que o esperado. Citar apenas uma como a melhor não é inteligente, visto que nos tempos atuais as organizações validam cada vez mais, opções e custos. Podemos ter soluções Híbridas, (CLOUD x CLOUD), (CLOUD x ON PREMISE) e (CLOUD x ON PREMISE x CLOUD) e etc.</p>



<p>Lembrando também que, a IBM e Oracle estão fortalecendo parcerias, disparando iniciativas e abordagens de marketing para entrar nessa briga de gente grande.</p>



<p>O poder dessas plataformas é magnífico. Indico seus estudos o quanto antes, não percam tempo, o futuro e a inovação, andam de mãos dadas com o mundão Cloud.</p>



<p>Muito obrigado pelo tempo e sucesso para nós todos!!!!</p>



<p>Linkedin:<br><a href="https://www.linkedin.com/in/david-braga-analyst/">https://www.linkedin.com/in/david-braga-analyst/</a></p>



<p>#cloud #cloudcomputing #bigdata</p>



<figure class="wp-block-embed-youtube wp-block-embed is-type-video is-provider-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe loading="lazy" title="Agenda Engenharia de dados -  Professor David Braga" width="500" height="281" src="https://www.youtube.com/embed/videoseries?list=PLjdDBZW3EmXdeEr9SvvvrTSrJomjDs9g1" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
</div></figure>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/">Plataformas Cloud, alcançando as nuvens.</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></content:encoded>
					
					<wfw:commentRss>http://estatidados.com.br/plataformas-cloud-alcancando-as-nuvens/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Data Lake, de ponta a ponta!</title>
		<link>http://estatidados.com.br/data-lake-de-ponta-a-ponta/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=data-lake-de-ponta-a-ponta</link>
					<comments>http://estatidados.com.br/data-lake-de-ponta-a-ponta/#comments</comments>
		
		<dc:creator><![CDATA[admin]]></dc:creator>
		<pubDate>Mon, 03 Aug 2020 19:25:56 +0000</pubDate>
				<category><![CDATA[ciencia de dados]]></category>
		<category><![CDATA[David Braga]]></category>
		<category><![CDATA[Engenharia de dados e Big data]]></category>
		<guid isPermaLink="false">http://estatidados.com.br/?p=315</guid>

					<description><![CDATA[<p>Olá pessoal !!! É com grande prazer que trago esse conteúdo, com o intuito de desmistificar o entendimento sobre esse termo tão atual e difundido no mercado. Data Lake&#8230; O que é Data Lake?&#160;Data Lake é uma&#160;estratégia&#160;de dados, no qual<a class="leiamais" href="http://estatidados.com.br/data-lake-de-ponta-a-ponta/" title="Data Lake, de ponta a ponta!">...[Continuar lendo]</a></p>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/data-lake-de-ponta-a-ponta/">Data Lake, de ponta a ponta!</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-image size-large"><img src="http://estatidados.com.br/wp-content/uploads/2020/08/data-lake-1-1024x433.png" alt="" class="wp-image-317"/></figure>



<p>Olá pessoal !!! É com grande prazer que trago esse conteúdo, com o intuito de desmistificar o entendimento sobre esse termo tão atual e difundido no mercado.</p>



<blockquote class="wp-block-quote"><p><strong><em>Data Lake&#8230;</em></strong></p></blockquote>



<p><strong>O que é Data Lake?</strong>&nbsp;Data Lake é uma&nbsp;<strong>estratégia</strong>&nbsp;de dados, no qual uma organização integra tecnologias, arquiteturas, soluções, e processos para o armazenamento, gerência, segurança e consumo dos dados.</p>



<p><strong>Por que implementar uma estratégia Data Lake?</strong>&nbsp;Atualmente, o maior poderio das organizações, são seus dados. Com esse fundamento consolidado pelo mercado, as empresas buscam cada vez mais se enquadrar em modelos inovadores, aplicar transformações digitais, automatizações inteligentes, explorar ambientes analíticos e de Big Data. Com um Data Lake, ingestões, transformações e disponibilizações são otimizadas, conceitos&nbsp;<strong>FAST DATA&nbsp;</strong>são habilitados e a governança permissiona, policia e padroniza o ciclo de vida e a qualidade das informações.</p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQEeweGRIwGpgg/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=4bVqqbu1T5lW8bGMl7dBxm0--5nTU_WtONuapuMQkIg" alt=""/></figure>



<p>Para facilitar o entendimento, faremos um exercício simulando um cenário realista, no qual, iremos desenvolver e implementar um projeto. Nossa demanda, irá, implantar um Data Lake como repositório centralizador de todas as fontes definidas como necessárias, para uma primeira onda de integração de dados em uma esteira produtiva e provendo suas disponibilizações para consumo.</p>



<p><strong>Premissas do projeto:</strong></p>



<ol><li>Teremos que, carregar dados em lote;</li><li>Carregar dados streaming das redes sociais e disponibilizar em real time;</li><li>Disponibilizar 3 camadas para modelagem dos dados;</li><li>Aplicar segregação lógica para as áreas da organização;</li><li>Implementar processos de governança;</li><li>Disponibilizar dashboards e front ends;</li></ol>



<p>Ao trabalho&#8230;</p>



<p><strong>PASSO 1 &#8211; Definição de fontes:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGO2VCRvcUeSA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=mruQ4yu-Bzmng_ozZoNyDejOe7AvgppFAte1PpK2br8" alt=""/></figure>



<p>Nesse passo, alinhamos e definimos as fontes que serão ingeridas na esteira do Data Lake. Teremos, redes sociais, arquivos, arquivos manuais e bases relacionais.</p>



<p><strong>PASSO 2 &#8211; Estrutura de armazenamento:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQFvL5S0jBGhtQ/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=bRSFcrgHAIM0ij87YdZ6fg_vSDvfM7JXJHsxxJq_KmQ" alt=""/></figure>



<p>Nesse passo, validamos e elegemos a tecnologia que usaremos. Será, um storage S3 AWS, para os armazenamentos e demais processos de navegação e consumo dos dados.</p>



<p><strong>PASSO 3 &#8211; Ingestões Lote:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQEn256RK-Y2Qw/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=WjNEL9ZYSfY9pZb2skUB6VAcm-PXGNzkloazXeU5OBs" alt=""/></figure>



<p>Nesse passo, proveremos scripts e tecnologias para as ingestões de bases relacionais, arquivos de sistemas e arquivos manuais, pousando em um camada stage(temporária).</p>



<p><strong>PASSO 4 &#8211; Dados Brutos:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGumqNlYQX7FA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=AvqTXLaIOz0jjEa9G5kyc-zpl_D7ECmL6_4ycl2FTBM" alt=""/></figure>



<p>Moveremos os arquivos da camada STAGE para a camada de DADOS BRUTOS, onde serão persistido em tabelas, estrutura de diretórios e gerenciado por partições. Nesse nível os dados serão gravados sem nenhuma tranformação. Essa camada é para a persistência do dado em seu detalhe e granularização.</p>



<p><strong>PASSO 5 &#8211; Dados Consolidados:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQHY8Jix3VxEtA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=d51qo0MeCyrpXA3tf1m-ADbvow5_FtbEE7UzIEKPw8g" alt=""/></figure>



<p>Nesse passo, iremos carregar a camada de dados consolidados, que será voltada a estruturar todos os dados, de todos os tipos e formatos. Aqui, ocorrem as tranformações, uniões, enriquecimentos, formatações e padronizações.</p>



<p><strong>PASSO 6 &#8211; Dados Prontos:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQHexstKOdMcLg/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=v3GaG2IMO-cxl5wUwdRFU8EcUZQFhJRbah3qKmVn1fg" alt=""/></figure>



<p>Pós estruturarmos todos os arquivos de todos os formatos para modelos estruturados, podemos aplicar outras transformações para qualificar e disponibilizar as informações. Nessa camada, dados prontos, teremos dimensões, agregações, sumarizações, modelos e indicadores. Atribuímos todas as regras de negócios e as disponibilizamos para consumo.</p>



<p><strong>PASSO 7 &#8211; Ingestões Real Time:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQFUurAh3foPSA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=ZB13-2GoZEGPKmJyNjsbK8v45_MT2Hy2c-U3ubHodic" alt=""/></figure>



<p>Agora iremos ingerir e disponibilizar as informações provenientes das redes sociais, usaremos mecanismos de streaming, para mapear perfis e hashtags correlacionadas a marca da organização, disponibilizando diretamente na camada de dados prontos.</p>



<p><strong>PASSO 8 &#8211; Segregações lógicas:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQHlX9UIRovlrA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=9UcrFzMo19RuN-6yX7qneyhWP6U8Dq40ovdXZG6Yng0" alt=""/></figure>



<p>Nessa etapa, depois de todas as camadas estarem sendo carregadas e com as regras de acordo, precisamos aplicar mecanismos para a organização e segurança das informações. Implementamos segregações lógicas para separar informações por área, conforme as premissas definiam. Com isso, criamos permissões e acessibilidades para grupos e usuários.</p>



<p><strong>PASSO 9 &#8211; Governança de Dados:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGlGmZDlic_PA/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=oIfZroQcMWr4L_LjXcI4KTNY5Hh7WEztfh-YVhYKOgI" alt=""/></figure>



<p>Integrando ao processo de segurança, embarcaremos as políticas e padrões da governança para cada camada de dados, no qual, habilitaremos a visão do ciclo de vida do dado, linhagem e maturidade da informação. Os processos serão otimizados e haverão métricas constantes para monitoramento, atualizações e manutenções.</p>



<p><strong>PASSO 10 &#8211; Consumidores:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQHKyuD1FC59lQ/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=DZ-e1Q13BPAoZact0pIovxjpnkbEMyK3L-Vjz4ConyQ" alt=""/></figure>



<p>Depois de construirmos todo o pipeline, integrando, soluções, arquiteturas e processos, estamos aptos a prover a premissa final da entrega, os dashboards e front end. Nessa etapa, temos dados com qualidade e disponibilidade, podendo ser consumidos por pessoas, sistemas, ferramentas e demais necessidades.</p>



<p><strong>Entrega concluída, UHUUU!!</strong></p>



<p>Para facilitar o entendimento do consumo de um Data Lake, abordaremos as funções e onde alguns profissionais (normalmente) podem consumir os dados e informações.</p>



<p><strong>(StoryTeller) Analista de visualização de dados:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQEiuA1AbjNJlw/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=qfDvk-ppY3aoy18IoMv1QB-okD_7yepz9k4qthoRYeo" alt=""/></figure>



<p>Ele será um consumidor das informações disponibilizadas, a responsabilidade e o papel do profissional (StoryTeller) Analista de visualização de dados, é contar a história dos dados, demonstrar e produzir as melhores visões das informações, manipular ferramentas e gerar gráficos, dashboards, indicadores, planilhas e o que mais a necessidade demandar.</p>



<p><strong>Cientista de Dados:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGlFClKd-_ZrQ/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=QtmZIWJXky_iLhv5c_Cfw59Akc9MfxCdHqrbowHQIJ8" alt=""/></figure>



<p>Fazendo uso do conceito Fast Data e por meio dos mecanismos de acessibilidade aos dados, o &#8220;menino(a) dos olhos&#8221; do mercado atual, será responsável por consumir (normalmente) as camadas de dados brutos e dados consolidados. Na camada de dados brutos, ele irá minerar, correlacionar, unir, mapear e estruturar modelagens lógicas para busca de padrões, modelos e etc. Na camada consolidada, irá gerar modelos, insights e tudo que for entrega de valor para a organização.</p>



<p><strong>Analista de Negócio:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQENE9ItVuXWmg/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=hwPKKZDNNyNfDuM2ACc-rshYceKn1oBRFQUUih3vdGo" alt=""/></figure>



<p>O mercado atual está em grande busca de produtividade e otimização de seus processos para consumo dos dados.O Fast Data habilita a integração dos profissionais da área de negócio diretamente aos dados, sem a necessidade de solicitações para a área de TI, isso diminui muito o delay no processo, aproxima o negócio da TI, possibilita que eles também façam trabalhos analíticos e tracionem a entrega de valor para a organização. Normalmente consomem as camadas de dados consolidados e dados prontos, já que comumente não dominam mecanismos de engenharia, porém conhecem bem as regras de negócio que permeiam nessas camadas.</p>



<p><strong>Engenheiro de Dados:</strong></p>



<figure class="wp-block-image"><img src="https://media-exp1.licdn.com/dms/image/C4D12AQGg6494QHEpNg/article-inline_image-shrink_1000_1488/0?e=1602115200&amp;v=beta&amp;t=D-PvxS3rvKEtE8vXSZ-HmZFLJPBRLtl8VNVApLj1Bsg" alt=""/></figure>



<p>Esse cara é responsável por construir, manter, atualizar e disponibilizar todo o pipeline das informações, englobando suas tecnologias, processos, arquiteturas, infra estruturas e os mecanismos de funcionamentos.</p>



<p>Esse vídeo/gif mostra nossa entrega&#8230;</p>



<p>É isso pessoal, muito obrigado pelo apoio, ficarei muito feliz com feedbacks e sugestões.</p>



<p>Até a próxima!!! Sucesso à TODOS!!!</p>



<p>David Braga:</p>



<p><a href="https://www.linkedin.com/in/david-braga-analyst/">https://www.linkedin.com/in/david-braga-analyst/</a></p>



<figure class="wp-block-embed-youtube wp-block-embed is-type-video is-provider-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe loading="lazy" title="Data Lake - Prof  David Braga - Parte 1" width="500" height="281" src="https://www.youtube.com/embed/videoseries?list=PLjdDBZW3EmXdeEr9SvvvrTSrJomjDs9g1" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
</div></figure>
<p>O post <a rel="nofollow" href="http://estatidados.com.br/data-lake-de-ponta-a-ponta/">Data Lake, de ponta a ponta!</a> apareceu primeiro em <a rel="nofollow" href="http://estatidados.com.br">Estatidados</a>.</p>
]]></content:encoded>
					
					<wfw:commentRss>http://estatidados.com.br/data-lake-de-ponta-a-ponta/feed/</wfw:commentRss>
			<slash:comments>6</slash:comments>
		
		
			</item>
	</channel>
</rss>
