Imagine uma situação na qual as empresas correm atrás de você, e não o contrário.

Isso já é realidade para os profissionais da área de análise de dados.

O Bureau of Labor and Statistics dos EUA (www.bls.gov) projeta que, até 2028, haverá um aumento de 72% nas novas carreiras relacionadas à Análise de Dados. 

Isso implica que muitas empresas estão à procura de analistas de dados profissionais para integrar as suas equipes. É, portanto, de grande importância que os analistas de dados aprimorem suas habilidades e se tornem competitivos se quiserem estar entre as pessoas mais procuradas para empregos na área de Análise de Dados.

Ter a experiência certa e as habilidades exigidas para um analista de dados atraem salários de seis dígitos, mais de 100 mil por ano, de acordo com a Robert Half Technology, Recrutamento Especializado e Projetos em Tecnologia (www.roberthalf.com.br).

Com um excelente salário você consegue ajudar a sua família, além de poder realizar os sonhos de ter o seu carro, a sua casa e poder viajar pelo Brasil e pelo mundo.

Principais áreas de melhoria para uma carreira de desenvolvedor em análise de dados

Trabalhar para melhorar suas habilidades de análise de dados abrirá portas para novas oportunidades e melhores compensações.

As habilidades essenciais que os analistas de dados precisam melhorar para conseguir um emprego dos sonhos incluem o conhecimento de muitas tecnologias. Tentaremos resumir as mais significativas nesta seção.

R e Python são mais adequados para lidar com um grande conjunto de dados. No entanto, métodos avançados do Excel, como Macros, são usados para conjuntos de dados menores e análises rápidas.

Os analistas de dados que trabalham em startups ou pequenas e médias empresas utilizam bancos de dados Excel; portanto, é uma ferramenta obrigatória para todos os iniciantes em analistas de dados. À medida que progride, você encontrará grandes conjuntos de dados e, portanto, também exigirá que você aprenda a linguagem de programação estatística à medida que avança em sua carreira.

SQL

SQL (sigla em inglês para Standard Query Language): significa Linguagem de Consulta Estruturada. É a linguagem de banco de dados padrão do setor e uma habilidade importante para todos os analistas de dados. SQL permite interagir com grandes conjuntos de dados estruturados que precisam ser armazenados em bancos de dados relacionais.

Como analista de dados, você precisa estar familiarizado com SQL e armazenar, gerenciar e relacionar com eficiência vários conjuntos de dados. Ter uma boa compreensão das fontes de dados será útil em sua carreira, e o SQL lhe dá a capacidade de navegar por grandes bancos de dados e trabalhar em projetos exigentes.

Habilidades Técnicas do Analista de Dados

Analistas de Dados devem possuir as habilidades técnicas corretas, além de serem proficientes no uso de diferentes ferramentas de banco de dados usadas na análise de dados. Eles também devem estar familiarizados com programas de computador, habilidades de codificação, usando SQL, JavaScript, Python, R, XML , Hadoop, SAS e outros programas de aprendizado de máquina.

Programação Estatística em Python

É uma das linguagens de programação usadas na análise de dados. Você precisa entender conceitos como coleta de dados, web scraping e o uso de Python para desenvolver aplicativos da web. Python é uma poderosa linguagem de programação estatística que realiza análises avançadas e análises preditivas em grandes conjuntos de dados. Portanto, todo analista de dados deve melhorar sua habilidade em linguagens de programação Python ou R. R é ideal para explorar vários conjuntos de dados e fazer análises ad-hoc.

Quais são as carreiras de analista de dados?

Existem várias carreiras em análise de dados. Elas incluem:

• Engenheiro de big data: engenheiros de big data transformam grandes volumes de dados em insights úteis que os gerentes podem usar para informar sua tomada de decisão. Eles são necessários para recuperar, coletar, interpretar, analisar e relatar dados de negócios. Eles também criam software e processos com os quais outras partes interessadas podem trabalhar para processar dados.
• Analista de Business Intelligence: analisa os dados da empresa para obter insights que podem ser adotados pelos executivos para tomar decisões bem informadas. Eles examinam dados e identificam padrões e tendências. 
• Arquiteto de dados: arquitetos de dados são responsáveis por projetar a estrutura de dados complexas. 
• Gerente de data warehouse: eles são responsáveis por armazenar e analisar dados em suas respectivas organizações. Eles usam métricas de desempenho e uso para avaliar e analisar a carga de dados. Além disso, eles identificam os riscos potenciais enfrentados pela transferência ou armazenamento de dados e apresentam formas de mitigar esses riscos.
• Cientista de dados: eles projetam novas formas de mineração de dados, modelagem e desenvolvem protótipos, algoritmos e modelos preditivos. Ele precisa ser qualificado em análise de regressão, diferentes técnicas de mineração de dados, árvores de decisão e análise.
• Gerenciador de banco de dados: o gerenciador de banco de dados é obrigado a identificar quaisquer problemas que os bancos de dados possam ter e tomar medidas corretivas para resolvê-los. Eles ajudam a projetar e implementar a manutenção de armazenamento trabalhando em conjunto com desenvolvedores de banco de dados.
• Modelador de dados: os modeladores de dados usam suas habilidades para criar relatórios sobre tendências micro e macro dos dados. Eles têm habilidades em ciência da informação, programação e análise estatística. Suas descobertas sobre tendências de dados os fazem ajudar as organizações a tomar decisões.
• Desenvolvedores de banco de dados: esses profissionais analisam principalmente os processos de banco de dados e agilizam ou eliminam aqueles que são ineficientes. Eles também fazem análise de dados e testes de unidade trabalhando em colaboração com outros profissionais de dados.

Quais novas carreiras de analista de dados você deve considerar?

As novas carreiras de analista de dados nas quais os desenvolvedores podem se especializar são:

• Analista quantitativo: o analista quantitativo é uma carreira altamente comercializável em empresas financeiras. Os analistas quantitativos usam a análise de dados para identificar potenciais oportunidades de investimento financeiro e gerenciar os riscos que podem surgir a partir disso.
• Analista de dados de saúde: são os novos profissionais em análise de dados aplicados na área de saúde. O analista de dados de saúde ajuda a melhorar a qualidade de vida das pessoas, auxiliando os médicos com soluções para os desafios que eles encontram. 
• Consultor de análise de dados: as funções de um consultor de análise de dados são fornecer insights que a empresa pode adotar em suas operações. Eles se especializam em uma área-chave de pesquisa e trabalham com diferentes organizações. 
• Especialista em logística de transporte: esses especialistas precisam de experiência em análise de dados para desempenhar suas funções. Sua experiência é necessária em empresas que transportam ou enviam mercadorias físicas com frequência, como a Amazon. Eles são obrigados a identificar as melhores rotas e meios eficientes de transporte das mercadorias. 

Existem muitas oportunidades de análise de dados em todo o mundo, por isso os analistas de dados precisam aprimorar suas habilidades.

Considerações Finais

A análise de dados é um campo de rápido crescimento que oferece aos profissionais a oportunidade de adquirir habilidades e contribuir com mudanças positivas em muitas organizações ao redor do mundo. Se você está ansioso para iniciar ou crescer sua carreira em análise de dados, a melhor opção é fazer o treinamento MBA em Data Science e Statistics com Python, do Instituto de Capacitação Business School Brasil – BSBr.com.br. 

Neste MBA iremos lhe dar os seguintes Bônus:

 Networking – Conseguir uma rede de contatos e fazer novos amigos;

 Crescimento profissional – emprego em vários cargos, além de poder subir de cargo até conquistar a gerência, por exemplo;

 Currículo relevante – você valoriza seu currículo na hora de entrar para o mercado;

 Maior flexibilidade – possibilidade de trabalho remoto, no Brasil e no exterior.

Autores

Prof. Dr. José Bezerra da Silva Filho é entusiasta em Gerenciamento de Projetos, Doutor em Engenharia pela Universidade Federal de Campina Grande – UFCG e University of Maryland at College Park (EUA) e Mestre em Ciência da Computação pela UFCG. Elaborou, implantou e coordenou um curso de Mestrado em Informática Aplicada. Bezerra já coordenou dezenas de turmas de cursos de MBA/Especialização. Trabalhou no Banco do Nordeste do Brasil – BNB por mais de três décadas. É autor de dez livros, dentre os quais: Tecnologia da Informação e Comunicação para Gestores; Na Trilha dos Lucros: Prática de Gestão para Tornar sua Empresa mais lucrativa, e O Guia Definitivo do Gerenciamento Ágil de Projetos: O Segredo da Hiperprodutividade, COMO FAZER UM CURRÍCULO PROFISSIONAL MAGNÉTICO: O Segredo para você ser chamado para entrevista de emprego de imediato. Atualmente Bezerra coordena o MBA em Gerenciamento de Projetos do Instituto de Capacitação Business School Brasil – BSBr e o Treinamento de Preparação para as Certificações PMP e CAPM, que já está na sua 48ª Turma.

Contatos do Autor:

●  (85) 9.9921-1675

●  E-mail: Professor.Dr.Bezerra@bsbr.com.br

Thiago Marques  é Estatístico pela federal do IBGE, a ENCE (Escola Nacional de Ciências Estatísticas), entusiasta na disseminação da Estatística e possui larga experiência na atuação em Estatística no mercado, tendo passado por grandes centros universitários, multinacionais de consultoria, pelo IBRE/FGV (Instituto Brasileiro de Economia) e pelo IBGE (Instituto Brasileiro de Geografia e Estatística), foi professor da pós de ciências de dados do SENAC RJ e da UNISUAM e é o criador do maior canal de Estatística, Ciência de dados da America Latina! O chamado EstaTiDados :). Atualmente é Consultor em Análise Estatística no IBGE, professor na sua Comunidade de Estatística, na Casa da Pesquisa Operacional (CPO), professor da MBA em Ciência de dados da UNIFOR, professor na MBA em Ciência de dados da Farias Brito, professor no MBA Executivo em Data Science para negócios (TREVISAN), professor convidado na MBA em BI, Marketing Digital e Estratégia Data Driven da PUC RS e Professor da MBA em Data Science e Analytics da USP e Coordenador do MBA em Data Science e Analytics e Estatística e o MBA de Marketing Analytics e Estatística no Instituto de Capacitação Business School Brasil – BSBr, realiza palestras e treinamentos para capacitação em Estatística, Pesquisa Operacional, R e Ciência de Dados.

O post Nova Tendência do Mercado: Carreira de Analista de Dados apareceu primeiro em Estatidados.

Suponha que uma empresa deseja desenvolver campanhas de marketing junto aos seus clientes para alavancar seu faturamento. Essa é uma situação muito comum nas organizações, mas o sucesso de uma campanha está diretamente ligado ao direcionamento correto para um público alvo.

Neste trabalho desenvolvido em R e utilizando o algoritmo de Machine Learning K-Means, traço os perfis de clientes que uma loja de shopping possui, para que ela possa realizar ações de marketing que façam sentido para cada um de seus públicos.

1. Carregando as bibliotecas

Sem muito segredo, carregamos as bibliotecas comumente utilizadas nesse tipo de trabalho de clusterização não hierárquico. No código abaixo, cada linha é seguida de um comentário explicando ao que ela se refere.

library(tidyverse)  # pacote para manipulação de dados
library(cluster)    # algoritmo de cluster
library(factoextra) # algoritmo de cluster e visualização
library(fpc)        # algoritmo de cluster e visualização
library(gridExtra)  # para a funcao grid arrange
library(readxl)     # leitura dos dados

2. Importando os dados

Com as bibliotecas carregadas, importamos a base de dados “clientes” e a visualizei, verificando o número de variáveis e de observações.

Esse dataframe possui uma coluna “CustomerID” e as variáveis “Gender”, “Age”, “Annual Income” e “Spending Score”.

Mantivemos no dataframe apenas as colunas que iremos utilizar para o agrupamento, que serão “Annual Income” e “Spending Score”. Como o foco é definir perfis de consumo, não utilizaremos dados de gênero e idade. Ambas as colunas mantidas foram renomeadas para a tradução em português, para que ficasse mais intuitiva a visualização nos gráficos.

clientes <- read.table('Mall_Customers.csv',sep = ",", header = T, dec = ",")
rownames(clientes) <- clientes[,1]
clientes <- clientes[,-c(1,2,3)]clientes <- clientes %>% rename(salario.anual=Annual.Income..k..,
                    score=Spending.Score..1.100.
                    )clientes.padronizado <- scale(clientes)

Repare que na última linha do bloco anterior eu criei um novo dataframe “clientes.padronizado”, que recebe os dados de “clientes”, mas já com os dados convertidos em uma mesma escala.

3. Verificando o número de clusters e agrupando a base de dados

Na clusterização, um grande objetivo é manter a menor variância dentro dos grupos, os deixando mais homogêneos. Para definir o número de clusters a serem considerados, utilizando o “Elbow Method”, plotando os dados em um gráfico de linhas, onde no eixo X estão o número de clusters e no eixo Y, o somatório das variâncias.

fviz_nbclust(clientes.padronizado, FUN = hcut, method = "wss")

Repare que quanto mais eu aumento o número de clusters, mais eu diminuo a variância dentro deles. No entanto, após o número 5 a queda é menos acentuada, o que demonstra que a partir dali eu estou dividindo em grupos diferentes clientes que possuem perfis parecidos.

Em tradução, o “Elbow Method” significa “Método do Cotovelo”, pois consideramos o número de clusters aquele que aparece bem na volta da curva, como um cotovelo mesmo. Nesse caso, inicialmente o 5 parece ser o número ideal a ser utilizado.

Mas para fins de estudos, vamos testar os dados com clusters que vão de 3 a 6, e plotaremos em um gráfico para conseguirmos visualizar melhor a divisão.

clientes.k3 <- kmeans(clientes.padronizado,centers=3)
clientes.k4 <- kmeans(clientes.padronizado,centers=4)
clientes.k5 <- kmeans(clientes.padronizado,centers=5)
clientes.k6 <- kmeans(clientes.padronizado,centers=6)

Com meus dados divididos em clusters de 3 a 6, criamos os gráficos e logo em seguida utilizamos a função “grid.arrange” para visualizarmos e compararmos todos lado a lado.

G1 <- fviz_cluster(clientes.k3, geom="point", data=clientes.padronizado) + ggtitle("k=3")G2 <- fviz_cluster(clientes.k4, geom="point", data=clientes.padronizado) + ggtitle("k=4")G3 <- fviz_cluster(clientes.k5, geom="point", data=clientes.padronizado) + ggtitle("k=5")G4 <- fviz_cluster(clientes.k6, geom="point", data=clientes.padronizado) + ggtitle("k=6")grid.arrange(G1,G2,G3,G4, nrow=2)

Perceba como os dados que foram divididos em 3 e 4 clusters possuem grupos grandes, com clientes diferentes que claramente elevam a variância dentro de cada um deles. Já nos dados que foram divididos em 5 e 6 clusters os grupos estão abrangendo clientes que são parecidos entre si, em uma delimitação que faz mais sentido.

Aqui, seria possível utilizar 5 ou 6 clusters. No entanto, como verificamos com o “Elbow Method” que o somatório das variâncias de 5 para 6 cai muito pouco, escolhemos então utilizar 5 clusters.

4. Juntando os dados

Após decidir utilizar o agrupamento do “clientes.k5”, importamos novamente a base de dados inicial e concatenamos, criando uma nova coluna que se refere a qual grupo aquele cliente pertence.

clientes2 <- read.table('Mall_Customers.csv',sep = ",", header = T, dec = ",")
clientesfit <- data.frame(clientes.k5$cluster)clientes.final <- cbind(clientes2,clientesfit)

5. Análise descritiva dos grupos

Definido qual o grupo de cada cliente, podemos agora realizar uma análise descritiva dos grupos, para saber qual a média de salário anual e qual a média de consumo de cada um deles.

mediagrupo <- clientes.final %>% 
  group_by(clientes.k5.cluster) %>% 
  summarise(n=n(),
            salario.anual=mean(Annual.Income..k..),
            score=mean(Spending.Score..1.100.)
            )
mediagrupo

Como interpretamos os dados:

• Grupo 1: Ganha pouco e gasta muito;
• Grupo 2: Ganha muito e gasta muito;
• Grupo 3: Ganha muito e gasta pouco;
• Grupo 4: Ganha pouco e gasta pouco;
• Grupo 5: Ganho intermediário e gasto também intermediário.

6. Salvando a nova base de dados com a coluna de cluster

Após interpretar os dados e verificar com a área de negócio se eles fazem sentido, exportamos a nova base de dados em um arquivo .csv.

write.csv(clientes.final,file = "clientesfinal.csv")

Gostou do post? O código e as bases de dados estão no meu Github. Dúvidas e sugestões, é só me mandar mensagem pelo Linkedin 

Link do post original: https://medium.com/jogandoosdados/clusterizando-os-clientes-de-uma-loja-de-shopping-utilizando-o-algoritmo-kmeans-91cf5b330204

LinkedIn do autor: https://www.linkedin.com/in/hernandesmjunior/

#analisedecluster #clusterizacao #aprendizadonaosupervisionado

O post Clusterizando os clientes de uma loja de shopping utilizando o algoritmo K-Means apareceu primeiro em Estatidados.

No dia 19/03/2020 o INEP(Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) disponibilizou o Censo Escolar da Educação Básica de 2019, com dados de todas as Escolas do Brasil, seja Estadual, Federal, Municipal, Particular… Com base nesses dados, fiz uma análise utilizando Business Intelligencee estou disponibilizando com o objetivo de ajudar de alguma forma Pais e Responsáveis por Aluno, Alunos, Profissionais da Educação e etc… Mais informações sobre Business Intelligence na área da Educação, confiram esse post.

A ferramenta de visualização utilizada foi o Microsoft Power BI.

Contextualizando

Censo Escolar é um levantamento de dados estatístico-educacionais de âmbito nacional realizado anualmente. Com ele, o INEP verifica desde o número de matrículas e rendimento dos alunos até a infraestrutura das escolas e funções docentes. Os dados são fornecidos pelas próprias escolas, públicas e privadas, e redes de ensino estaduais e municipais.

Explicando algumas das funcionalidades dos Dashboards

A tela inicial, contendo botões para os Reports (Consultar Censo Escolar 2019, Consultar Alunos por Região e Perfil Alunos do Ceará (Privadas))

Clicando no Botão: Consultar Censo Escolar 2019, vamos para a seguinte tela:

• Nessa tela acima, poderá filtrar pelo código INEP, por Estado, Município, Tipo de Escola e Funcionamento;
• Além desses filtros, foi criado um Filtro por nome da Escola que permite filtrar por nome ou parte do nome da Escola;
• Tela é totalmente iterativa e muda com base nos filtros utilizados;
• No Código do INEP, tem um Link para detalhar informações da Escola (por exemplo, se tem biblioteca, auditório, refeição, indígena, acesso para PCD, EJA e etc);
• No nome da ESCOLA, se colocar o mouse em cima, aparecerá alguns detalhes sobre a Escola, como mostra a imagem abaixo (Região, Estado, Município, Localização)

No Gráfico, se clicarmos nas duas setas pra baixo, ele detalha por Estados e Municípios (como vemos na imagem abaixo por exemplo)

Voltando para a tela inicial e Clicando no Botão: Consultar Alunos por Região, iremos para a tela a seguir

Essa tela é totalmente dinâmica, por exemplo, queremos saber a quantidade de alunos da Região Nordeste, mais especificamente do Estado do Ceará, no município: Juazeiro do Norte, teremos algo assim:

Na tela inicial, Clicando no Botão: Perfil Alunos do Ceará (Privadas), iremos para a tela a seguir:

• Aqui é uma análise dinâmica de alunos de escolas particulares do Estado do Ceará, confiram!

Observações

• Em todas as telas tem um botão de voltar (canto inferior direito), que retorna a página principal;
• Clicando em qualquer uma das imagens, aqui do artigo, abre a análise e poderá explorar a ferramenta e realizar suas análises.

Espero que tenham gostado e que possa lhe ajudar de alguma forma!

Deixe seu comentário!

Até mais!

Referências

INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

O que é o Censo Escolar?

Blog do Alex Souza

EduTECH Brasil

Linkedin:
https://www.linkedin.com/in/alex-souza/

#powerbi #analytics #bi #dados #dadospublicos

O post Censo Escolar 2019 apareceu primeiro em Estatidados.