Em um mundo cada vez mais orientado por dados, a Ciência de Dados emergiu como uma das carreiras mais promissoras e relevantes da atualidade. Com o avanço da tecnologia e a explosão na geração de dados, profissionais especializados em Ciência de Dados são altamente valorizados pelas empresas de todos os setores. Neste artigo, vamos explorar as razões pelas quais a Ciência de Dados é uma carreira tão promissora no mercado atual em 2023.

Explosão de dados:

Vivemos em uma era em que a quantidade de dados gerados diariamente é imensa. Empresas, governos e indivíduos estão capturando e armazenando uma enorme quantidade de informações. A Ciência de Dados permite extrair valor desses dados, transformando-os em insights valiosos que podem impulsionar o sucesso das organizações.

Tomada de decisão baseada em dados:

A tomada de decisão baseada em dados se tornou uma prática essencial para as empresas. Os dados são utilizados para identificar tendências, prever comportamentos e tomar decisões estratégicas fundamentadas. Profissionais de Ciência de Dados desempenham um papel fundamental nesse processo, fornecendo análises e insights que orientam as decisões de negócio.

Demandas por insights acionáveis:

As empresas estão cada vez mais buscando insights acionáveis ​​que as ajudem a obter vantagem competitiva. Os profissionais de Ciência de Dados são treinados para identificar padrões, tendências e relações ocultas nos dados, fornecendo informações valiosas para melhorar processos, otimizar estratégias de marketing, personalizar experiências de cliente e muito mais.

Automação e Inteligência Artificial (IA):

A automação e a Inteligência Artificial estão transformando a forma como as tarefas são realizadas. A Ciência de Dados desempenha um papel importante nesse cenário, ajudando a desenvolver algoritmos e modelos de Machine Learning que permitem automatizar processos, tomar decisões autônomas e oferecer experiências personalizadas. Profissionais de Ciência de Dados são essenciais para impulsionar a inovação nesse campo.

Setores de alto crescimento:

A demanda por profissionais de Ciência de Dados se estende a uma ampla gama de setores. Áreas como saúde, varejo, finanças, marketing e tecnologia estão investindo pesadamente em análise de dados para impulsionar o crescimento e a eficiência. Esses setores oferecem diversas oportunidades de carreira para os especialistas em Ciência de Dados.

Escassez de talentos:

Apesar da alta demanda, há uma escassez de profissionais qualificados em Ciência de Dados. As habilidades necessárias, como programação, estatística, conhecimento em Machine Learning e domínio do negócio, são altamente valorizadas e difíceis de encontrar. Isso coloca os profissionais de Ciência de Dados em uma posição privilegiada, com uma maior oferta de oportunidades e salários competitivos.

Remuneração atrativa:

A natureza especializada e a demanda crescente por profissionais de Ciência de Dados resultam em uma remuneração atrativa. Devido à escassez de talentos, empresas estão dispostas a oferecer salários e pacotes de benefícios generosos para atrair e reter talentos nessa área. Além disso, existem oportunidades de trabalho remoto e flexibilidade, o que aumenta ainda mais o apelo dessa carreira.

Evolução contínua e aprendizado constante:

A Ciência de Dados é uma área em constante evolução. Novas técnicas, algoritmos e ferramentas estão sendo desenvolvidos regularmente. Isso significa que os profissionais de Ciência de Dados têm a oportunidade de continuar aprendendo e se atualizando ao longo de suas carreiras. A constante necessidade de adquirir novos conhecimentos mantém a carreira estimulante e desafiadora.

Impacto na sociedade e no mundo:

A Ciência de Dados tem um impacto significativo na sociedade e no mundo como um todo. Através da análise de dados, é possível identificar problemas, encontrar soluções inovadoras e impulsionar o progresso em diversas áreas, como saúde, sustentabilidade, transporte e muito mais. Os profissionais de Ciência de Dados têm a oportunidade de trabalhar em projetos que fazem a diferença e contribuem para um futuro melhor.

Crescimento profissional e oportunidades de liderança:

A demanda por profissionais de Ciência de Dados está em constante crescimento, o que significa que há amplas oportunidades de crescimento profissional e progressão na carreira. À medida que os profissionais adquirem experiência e habilidades avançadas, eles podem assumir cargos de liderança, como cientista de dados sênior, líder de equipe ou diretor de análise de dados. Isso proporciona um caminho claro de desenvolvimento profissional e reconhecimento no campo da Ciência de Dados.

Conclusão:

A Ciência de Dados continua sendo uma carreira promissora no mercado atual em 2023. Com a explosão de dados, a demanda por insights acionáveis ​​e a necessidade de automação e IA, os profissionais de Ciência de Dados estão na vanguarda da transformação digital. Com remuneração atrativa, escassez de talentos e oportunidades de crescimento, essa área oferece um futuro promissor para aqueles que desejam se especializar em dados e aproveitar as oportunidades de carreira emocionantes que ela oferece.

Se você está procurando uma carreira dinâmica, desafiadora e com um impacto significativo, a Ciência de Dados pode ser a escolha certa para você. Esteja preparado para se dedicar ao aprendizado contínuo e aprimorar suas habilidades técnicas e analíticas. Com uma abordagem orientada por dados e uma compreensão profunda das técnicas estatísticas e de Machine Learning, você estará pronto para enfrentar os desafios e se destacar nessa carreira em constante evolução.

Aproveite as oportunidades disponíveis, busque cursos e certificações relevantes, participe de comunidades e eventos da área e esteja sempre atualizado com as últimas tendências e tecnologias. A Ciência de Dados oferece um vasto campo de possibilidades e uma carreira recompensadora, permitindo que você faça parte da revolução dos dados e contribua para moldar o futuro com base em insights sólidos e análises significativas.

Conheça duas de nossas formações que vão te proporcionar os conhecimentos mencionados no artigo:

Formação em Análise de dados – AD – CECD:

Formação em Análise de dados – AD – CECD

Formação em Estatística – FE – CECD:

Formação em Estatística – FE

Nossos cursos ao vivo:

https://comunidadedeestatistica.com.br/category/ao-vivo/

O post Por que a Ciência de Dados é uma Carreira Promissora no Mercado Atual em 2023 apareceu primeiro em Estatidados.

A Ciência de Dados é uma área em crescimento que tem transformado a maneira como as empresas tomam decisões e extraem valor dos dados. Como iniciante interessado nesse campo, é essencial compreender os fundamentos que sustentam a prática da Ciência de Dados. Neste artigo, vamos explorar os conceitos básicos da estatística e sua importância na análise de dados. Vamos mergulhar nos princípios da estatística e como eles são aplicados na Ciência de Dados.

O que é estatística?

A estatística é uma disciplina que envolve a coleta, organização, análise e interpretação de dados. Ela oferece uma maneira sistemática de extrair informações úteis e tomar decisões baseadas em evidências. Na Ciência de Dados, a estatística desempenha um papel crucial na compreensão dos dados e na inferência de conclusões confiáveis.

Coleta e organização de dados:

A primeira etapa na análise estatística é a coleta e organização dos dados relevantes. Isso pode envolver a realização de pesquisas, a extração de dados de fontes públicas ou o acesso a bases de dados internas de uma empresa. É importante garantir que os dados sejam representativos e de alta qualidade para evitar distorções nos resultados.

Tipos de dados:

Existem dois tipos principais de dados na estatística: dados numéricos e dados categóricos. Os dados numéricos são expressos em números e podem ser contínuos (como a altura de uma pessoa) ou discretos (como o número de produtos vendidos). Já os dados categóricos são classificados em categorias ou grupos, como a cor de um carro ou a preferência de um usuário.

Medidas descritivas:

As medidas descritivas são utilizadas para resumir e descrever os dados. Elas incluem medidas de tendência central, como a média, mediana e moda, que fornecem uma ideia da localização dos dados. Além disso, as medidas de dispersão, como o desvio padrão e a amplitude, indicam o quão espalhados estão os dados ao redor da tendência central.

Distribuições de probabilidade:

As distribuições de probabilidade descrevem a forma como os dados estão distribuídos. Algumas distribuições comumente usadas incluem a distribuição normal, a distribuição binomial e a distribuição de Poisson. Compreender as características dessas distribuições permite fazer inferências estatísticas e tomar decisões embasadas.

Testes de hipóteses:

Os testes de hipóteses são usados para verificar afirmações sobre uma população com base em uma amostra de dados. Eles envolvem a formulação de uma hipótese nula (afirmação a ser testada) e uma hipótese alternativa. O objetivo é avaliar se os dados fornecem evidências suficientes para rejeitar ou não a hipótese nula. Esses testes são fundamentais para tomar decisões estatisticamente significativas.

Correlação e regressão:

A correlação é uma medida estatística que indica a relação entre duas variáveis. Ela varia de -1 a 1, onde valores próximos de -1 ou 1 indicam uma correlação forte, enquanto valores próximos de 0 indicam uma correlação fraca. A regressão, por sua vez, é uma análise estatística que busca estabelecer uma relação funcional entre uma variável dependente e uma ou mais variáveis independentes.

Amostragem e inferência estatística:

Em muitos casos, é inviável coletar dados de uma população inteira. Portanto, a amostragem é usada para selecionar uma parte representativa da população para análise. Com base nessa amostra, é possível fazer inferências estatísticas e tirar conclusões sobre a população como um todo, utilizando técnicas como intervalos de confiança e estimativas pontuais.

Visualização de dados:

A visualização de dados é uma parte essencial da análise estatística. Gráficos e gráficos ajudam a apresentar os dados de forma clara e compreensível, permitindo identificar padrões, tendências e anomalias. Alguns exemplos comuns de visualizações de dados incluem gráficos de barras, gráficos de dispersão e histogramas.

Importância da estatística na Ciência de Dados:

A estatística desempenha um papel fundamental na Ciência de Dados. Ela fornece as ferramentas e os métodos necessários para explorar, analisar e interpretar os dados, permitindo tomar decisões baseadas em evidências. Além disso, a estatística permite avaliar a confiabilidade e a validade dos resultados obtidos por meio de técnicas de modelagem e previsão.

Conclusão:

A estatística é um dos fundamentos essenciais da Ciência de Dados. Compreender os conceitos básicos da estatística permite que os iniciantes na área adquiram uma base sólida para realizar análises de dados significativas e tomar decisões embasadas. Ao dominar os princípios estatísticos, os profissionais de Ciência de Dados estão mais bem preparados para enfrentar os desafios complexos e aproveitar as oportunidades oferecidas pelo mundo dos dados.

Conheça duas de nossas formações que vão te proporcionar os conhecimentos mencionados no artigo:

Formação em Análise de dados – AD – CECD:

Formação em Análise de dados – AD – CECD

Formação em Estatística – FE – CECD:

Formação em Estatística – FE

Nossos cursos ao vivo:

https://comunidadedeestatistica.com.br/category/ao-vivo/

O post Os Fundamentos da Ciência de Dados: Uma Visão Geral para Iniciantes – Foco em Estatística apareceu primeiro em Estatidados.

No mundo atual, a quantidade de dados gerados pelas empresas e usuários cresce exponencialmente. Nesse cenário, surge a área de Data Science, que tem como objetivo extrair insights valiosos desses dados para auxiliar na tomada de decisões estratégicas. Mas afinal, o que é Data Science e qual é o papel de um Cientista de Dados? Neste artigo, vamos explorar essas questões e descobrir como essa área tem se tornado fundamental para empresas em diferentes setores.

O que é Data Science?

Data Science, ou Ciência de Dados, é uma disciplina interdisciplinar que combina estatística, programação e conhecimentos em domínios específicos para analisar grandes volumes de dados e obter informações relevantes. É um campo que utiliza métodos científicos e tecnológicos para identificar padrões, desenvolver modelos preditivos e encontrar soluções para problemas complexos.

Papel de um Cientista de Dados:

Um Cientista de Dados é o profissional responsável por extrair conhecimento acionável a partir dos dados. Suas principais atribuições incluem:

• Coleta e análise de dados: O Cientista de Dados deve identificar e coletar conjuntos de dados relevantes para um determinado problema. Em seguida, ele realiza uma análise exploratória para entender as características dos dados e identificar padrões.
• Pré-processamento e limpeza de dados: Antes de aplicar algoritmos e modelos de análise, o Cientista de Dados precisa realizar a limpeza e o pré-processamento dos dados, removendo ruídos, tratando valores faltantes e ajustando escalas, garantindo a qualidade dos dados utilizados nas análises.
• Desenvolvimento de modelos preditivos: Com base nos dados coletados e processados, o Cientista de Dados utiliza técnicas estatísticas e algoritmos de aprendizado de máquina para desenvolver modelos preditivos que possam fazer previsões e tomar decisões embasadas.
• Comunicação de resultados: Além de realizar as análises, o Cientista de Dados precisa traduzir os insights obtidos em linguagem compreensível para a equipe ou stakeholders. A comunicação eficaz é fundamental para que as descobertas sejam aplicadas nas estratégias de negócio.

Habilidades e conhecimentos necessários:

Para se tornar um Cientista de Dados, é importante adquirir uma combinação de habilidades técnicas e conhecimentos específicos. Algumas competências essenciais incluem:

• Conhecimento em programação: Dominar linguagens como Python e R, além de ter habilidades em SQL para manipulação de bancos de dados.
• Estatística e matemática: Compreender conceitos estatísticos e matemáticos para realizar análises e desenvolver modelos.
• Conhecimento em Machine Learning: Ter familiaridade com algoritmos e técnicas de aprendizado de máquina para desenvolver modelos preditivos.
• Domínio do negócio: Entender o contexto em que os dados estão inseridos, conhecendo a fundo o setor de atuação da empresa para identificar oportunidades e desafios específicos.
• Pensamento analítico e resolução de problemas: Capacidade de analisar problemas complexos, identificar soluções e aplicar abordagens analíticas para resolvê-los.
• Comunicação efetiva: Ser capaz de comunicar de forma clara e concisa os resultados e insights obtidos, seja para uma equipe técnica ou para stakeholders não técnicos.

Aplicações de Data Science:

A área de Data Science tem uma ampla gama de aplicações em diversos setores. Alguns exemplos incluem:

• Saúde: Utilização de dados médicos para diagnóstico precoce de doenças, previsão de resultados de tratamentos e desenvolvimento de soluções de medicina personalizada.
• Varejo: Análise de dados de vendas, preferências do consumidor e previsão de demanda para otimização de estoques, personalização de experiências de compra e recomendação de produtos.
• Finanças: Utilização de algoritmos de aprendizado de máquina para detecção de fraudes, análise de risco de crédito, previsão de mercado e otimização de portfólios.
• Marketing: Análise de dados de campanhas publicitárias, segmentação de público-alvo, personalização de mensagens e otimização de investimentos em marketing.

O futuro da Data Science:

Com o avanço da tecnologia e o crescimento contínuo da geração de dados, a importância da Data Science só tende a aumentar. Novas técnicas, como Inteligência Artificial e Aprendizado Profundo (Deep Learning), estão impulsionando descobertas ainda mais significativas. Além disso, a ética e a governança dos dados estão se tornando aspectos fundamentais nesse campo, com a necessidade de garantir a privacidade e a segurança das informações.

Conclusão:

A Ciência de Dados desempenha um papel fundamental na era da informação. Combinando habilidades analíticas, conhecimentos técnicos e domínio do negócio, os Cientistas de Dados são capazes de transformar dados em insights valiosos que impulsionam o sucesso das empresas. Se você está interessado em se tornar um profissional nessa área em expansão, é essencial adquirir as habilidades necessárias e continuar se atualizando para acompanhar as demandas do mercado em constante evolução.

Para tais conhecimentos e criação de networking, nós indicamos as nossas formações completas e reduzidas:

Conheça duas de nossas formações que vão te proporcionar os conhecimentos mencionados no artigo:

Formação em Análise de dados – AD – CECD:

http://comunidadedeestatistica.com.br/formacao-em-analise-de-dados-ad-cecd/embed/#?secret=Adlwmj4GZhFormação em Estatística – FE – CECD

http://comunidadedeestatistica.com.br/formacao-em-estatistica-fe/embed/#?secret=UeA8PrfQDC

O post O que é Data Science e o que faz um Cientista de Dados apareceu primeiro em Estatidados.

Olá, no texto de hoje será abordado o CRISP-DM, este que é uma das metodologias ou processo (particularmente prefiro esse termo) que pode ser utilizado na jornada de desenvolvimento de soluções com dados. Apesar do foco do texto caminhar pelo CRISP-DM, existem outros processos propostos na literatura, dois deles são o famoso KDD – Knowledge Discovery in Databases (Descoberta de Conhecimento em Bases de Dados) proposto por Fayyad et al (1996) e o SEMMA acrônimo de Sample, Explore, Modify, Model e Assess (Amostra, Explorar, Modificar, Modelar e Avaliar), desenvolvido pelo Instituto SAS.

Desenvolvido em 1999 por meio dos esforços de um consórcio composto inicialmente pela DaimlerChrysler, SPSS e NCR, o CRISP-DM – Cross Industry Standard Process for Data Mining (Processo Padrão Inter-Indústrias para Mineração de Dados) surgiu como forma de apoio ao processo de descoberta do conhecimento e para padronizar os processos de mineração de dados em todos os setores. Desde então, este processo é um dos mais utilizados para projetos de mineração de dados, estatística, análise e ciência de dados.

Os times de ciência de dados que combinam uma implementação flexível do CRISP-DM com abordagens abrangentes de gerenciamento de projetos ágeis baseadas em equipe, provavelmente obterão melhores resultados.

O CRISP-DM é formado por 6 fases, que podemos descrever como:

1. Compreensão do Negócio: O que o negócio precisa?
2. Compreensão dos Dados: Que dados temos/precisamos? Está ‘limpo’, tratado, prontos para uso?
3. Preparação dos Dados: Como organizamos os dados para modelagem?
4. Modelagem: Quais técnicas de modelagem devemos aplicar?
5. Avaliação: Qual modelo melhor atende aos objetivos do negócio?
6. Desenvolvimento:Como as partes interessadas acessam os resultados?

Abaixo é mostrado uma figura que representa o processo CRISP-DM e como as fases se interrelacionam:

Etapas do CRISP-DM.Fonte: próprio autor.

A seguir serão detalhados as etapas como forma de deixar mais claro o que é necessário extrair e executar em cada uma delas.

1. Compreensão do Negócio

Nesta primeira fase de compreensão do negócio, o foco é no entendimento dos objetivos e requisitos do projeto. Conhecer e compreender o problema a ser resolvido é de suma importância neste processo. Perceba que no próprio diagrama existem retornos para esta fase a partir de outras etapas do processo, ou seja, podem ocorrer falhas durante o processo por má compreensão do negócio. Para fins de tentar mitigar estes riscos de má compreensão, o CRISP-DM determina algumas atividades nesta fase, conforme é descrito a seguir:

• Determine os objetivos de negócios: entender completamente de uma perspectiva de negócios, o que o cliente realmente deseja realizar e, em seguida, definir os critérios de sucesso do negócio.
• Avalie a situação: determine a disponibilidade de recursos, os requisitos do projeto, avalie riscos e contingências e realize uma análise de custo-benefício.
• Determine as metas: Além de definir os objetivos de negócios, você também deve definir como é o sucesso de uma perspectiva técnica.
• Produza o plano do projeto: selecione tecnologias e ferramentas e defina planos detalhados para cada fase do projeto.

Outros pontos interessantes que podem deixar o entendimento mais completo são:

• Identificar os especialistas na organização: Os especialistas da área de negócio (domínio), o pessoal da TI, bem como os responsáveis pela tomada de decisão precisam conhecer o processo. É comum nesta etapa, realizar treinamentos para fins de nivelamento de conhecimento do pessoal em torno do processo e onde o CRISP-DM estará atuando.
• Levantar e esboçar as necessidades e expectativas: As pessoas que estarão envolvidas no processo, precisam expor suas necessidades, principalmente aqueles que irão lidar com os dados e informações obtidos para posterior análise e tomada de decisão. É comum serem feitas rodadas de reuniões com estas pessoas para fins de elencar os objetivos e necessidades.
• Levantamento dos hardwares e softwares: A organização não é feita apenas de pessoas, mas também de ferramentas e neste sentido se faz necessário conhecer o que existe disponível ou não. O CRISP-DM orienta que o processo seja realizado em plataforma que possua arquitetura expansível, com capacidade de suportar grandes volumes de dados, com grandes chances destes dados serem heterogêneos e que possa ter capacidade de processamento compatível com o volume de dados.
• Fazer inventário das bases de dados existentes: É importante conhecer o que a organização possui de bases de dados internas e do acesso e uso de bases de dados externas. Neste momento, se faz necessário também observar potenciais bases de dados externas que guardem relação com o negócio da organização e por isso podem fazer parte do processo.
• Verificar a existência de DW (Data Warehouses) na organização: Caso a organização possua dados armazenados em bases multidimensionais, como os Data Lake, Data Warehouses, Data Marts, é possível que ela já tenha estabelecido um processo ETL e neste caso haverá um ganho de esforço no restante do processo.

2. Compreensão dos Dados

Esta fase geralmente é executada juntamente com a fase anterior (Compreensão do Negócio), em que o estudo sobre as informações coletadas se faz necessário e deve ser feita de forma detalhista. Aqui neste caso, o foco é direcionado para identificar, coletar e analisar os conjuntos de dados que podem ajudá-lo a atingir as metas do projeto. Podemos definir essa fase através de algumas tarefas:

• Solicite dados iniciais: adquira os dados necessários e (se necessário) carregue-os em sua ferramenta de análise.
• Descreva os dados: examine os dados e documente suas propriedades de superfície, como formato de dados, número de registros ou identidades de campo.
• Explorar dados: aprofunde-se nos dados. Consulte-o, visualize-o e identifique relacionamentos entre os dados.
• Verificar a qualidade dos dados: o quão “limpos/sujos”, “tratados/não tratados” estão os dados? Documente quaisquer problemas de qualidade.
• Verificar se a volumetria dos dados atende ao negócio: refere-se a quantidade de dados que será utilizada, pois amostras pequenas de dados podem não ser úteis para o processo, portanto é importante que seja feito um acordo para o fornecimento de volume de dados adequado.

3. Preparação dos Dados

Esta fase, prepara o(s) conjunto(s) de dados final(is) para modelagem. As diversas ferramentas analíticas que podem ser usadas nesta fase, apesar de oferecerem muitos recursos, impõem alguns requisitos sobre os dados quanto ao seu formato, gerando a necessidade de formatações e/ou transformações dos mesmos. Nesta estapa é possível dividir em cinco tarefas distintas:

• Selecionar dados: determine quais conjuntos de dados serão usados e documente os motivos da inclusão/exclusão.
• Limpeza dos Dados: muitas vezes esta é a tarefa mais demorada. Sem ele, você provavelmente será vítima do "lixo que entra e sai do lixo". Uma prática comum durante esta tarefa é corrigir, imputar ou remover valores incorretos.
• Construir dados: Derive novos atributos que serão úteis. Por exemplo, derivar o índice de massa corporal de alguém dos campos de altura e peso.
• Integrar dados: crie novos conjuntos de dados combinando dados de várias fontes.
• Formatar dados: Reformate os dados conforme necessário. Por exemplo, você pode converter valores de string que armazenam números em valores numéricos para poder realizar operações matemáticas.

4. Modelagem

A modelagem é o principal local onde as técnicas são aplicadas aos dados. É importante ter alguma compreensão dos conceitos de modelagem, incluindo os tipos de técnicas e algoritmos existentes. É aqui que você provavelmente construirá e avaliará vários modelos com base em várias técnicas de modelagem diferentes. Esta fase tem quatro tarefas:

• Selecione técnicas de modelagem: Determine quais algoritmos se adequam a problemática, por exemplo: regressão, rede neural, etc.
• Gerar design de teste: enquanto aguarda sua abordagem de modelagem, pode ser necessário dividir os dados em conjuntos de treinamento, teste e validação.
• Modelo de construção: Aqui é etapa da execução da modelagem dos algoritmos utilizando a tecnologia selecionada.
• Modelo de avaliação: Geralmente, vários modelos estão competindo entre si, e o cientista de dados precisa interpretar os resultados do modelo com base no conhecimento do domínio, nos critérios de sucesso predefinidos e no design do teste.

5. Avaliação

O insumo desta fase é a saída da fase anterior em forma de um ou mais modelos. Aqui na fase avaliação, é analisado qual modelo atende melhor ao negócio e o que fazer em seguida. Esta fase possui três tarefas:

• Avalie os resultados: os modelos atendem aos critérios de sucesso do negócio? Qual(is) devemos aprovar para o negócio?
• Processo de revisão: revise o trabalho realizado. Alguma coisa foi esquecida? Todas as etapas foram executadas corretamente? Resuma as descobertas e corrija qualquer coisa, se necessário.
• Determine as próximas etapas: Com base nas três tarefas anteriores, determine se deve continuar com a implantação, iterar mais ou iniciar novos projetos.

6. Desenvolvimento

A fase de desenvolvimento consiste da definição das fases de implantação do projeto, levando em consideração que o modelo resultante da fase de modelagem precisa ser factível de ser usado, ou seja, digamos que um modelo não é particularmente útil a menos que o cliente possa acessar seus resultados. A complexidade desta fase varia muito. Esta fase final tem quatro tarefas:

• Planejar a implantação: desenvolva e documente um plano para implantar o modelo.
• Plano de monitoramento e manutenção: desenvolva um plano completo de monitoramento e manutenção para evitar problemas durante a fase operacional (ou fase pós-projeto) de um modelo.
• Produzir relatório final: a equipe do projeto documenta um resumo do projeto que pode incluir uma apresentação final dos resultados das etapas realizadas.
• Revisão do projeto: conduza uma retrospectiva do projeto sobre o que deu certo, o que poderia ter sido melhor e como melhorar no futuro.

Conclusão

Como uma forma de finalização desse post, com uma conclusão, podemos escrever alguns pontos para que seja possível aproveitar ao máximo os benefícios da CRISP-DM, para suprir as fraquezas ou pontos negativos existentes.

Sendo assim, pense sempre em fazer a equipe se concentrar estritamente em entregar lançamentos menores de todas as etapas e frequentemente solicitar feedback ao longo do caminho, evitando dessa forma cair em uma armadilha em cascata trabalhando minuciosamente em todas as etapas do projeto, e raramente retornar a uma etapa anterior, e a entrega ser um “big bang” no final do projeto porque a sua primeira entrega pode não ser muito útil, por estar nas fases iniciais do processo.

As etapas do processo exigem muita documentação, assim o gasto de tempo fazendo documentações poderá ser maior do que fazendo qualquer outra coisa, entretanto, procure sempre documentar o que for suficiente… mas não precisa exagerar. Não se esqueça também das tecnologias atuais: adicione etapas para aproveitar arquiteturas de nuvem e práticas de software modernos, como controle de versão git e pipelines de CI/CD ao seu plano de projeto, quando apropriado.

O CRISP-DM carece de estratégias de comunicação com as partes interessadas. Portanto, certifique-se de definir expectativas e se comunicar com eles com frequência.

E por fim, combine com uma abordagem de gerenciamento de projetos. Como uma declaração mais generalizada do item anterior, o CRISP-DM não é realmente uma abordagem de gerenciamento de projetos. Assim, combine-o com uma estrutura de coordenação de ciência de dados. As abordagens ágeis populares incluem: Kanban, Scrum e Scrum Orientado a Dados.

Fontes:

Azevedo, A. e Manuel, F.S. “KDD, SEMMA and CRISP-DM: a parallel overview.” IADS-DM (2008).

Fayyad, U. M. “Data mining and knowledge discovery: making sense out of data”. IEEE Expert, Vol. 11 No. 5, pp. 20-25 (1996).

Texto baseado nas fontes citadas.

“Post gerado com framework HUGO (http://gohugo.io/), R Markdown (http://rmarkdown.rstudio.com/), no qual os resultados são gerados na geração da página.”

TAGS: BIG DATA, MACHINE LEARNING, PROGRAMMING, R, STATISTICS

Post original: https://jodavid.github.io/post/2022-06-04-crisp-dm-processo-padr-o-inter-ind-strias-para-minera-o-de-dados/

O post CRISP-DM (Processo Padrão Inter-Indústrias para Mineração de Dados) apareceu primeiro em Estatidados.