Parte 1: Diferentes tipos de projetos de ciência de dados
Neste artigo, vou partilhar a minha experiência sobre como transformar o seu projeto de ciência de dados num produto de sucesso. Com demasiada frequência, vemos excelentes projetos ficarem retidos na fase de Prova de Conceito (PoC) ou de Protótipo, porque a entrada em produção a nível global significaria refazer grande parte do trabalho, alterar a linguagem de programação ou as frameworks a partir das quais o modelo foi construído, ou até mesmo começar do zero.
Até a própria qualidade do modelo de ciência de dados, como os resultados de precisão e cobertura (precision and recall), pode diferir significativamente dos resultados obtidos durante a fase de protótipo. Enquanto a primeira parte deste artigo será inteiramente dedicada aos diferentes tipos de projetos de ciência de dados que existem, a segunda parte partilhará algumas diretrizes sobre como transformar uma PoC num verdadeiro produto de IA.
Para começar, devemos analisar mais de perto quais os tipos de projetos de ciência de dados que são adequados para serem transformados em soluções produtivas — ou até mesmo em produtos. Nem sempre faz sentido lutar por soluções de nível de produção. Pela minha experiência, os projetos de ciência de dados costumam apresentar-se numa destas vertentes:
-
A análise pontual: Este tipo de projeto visa responder a uma questão de negócio específica para uma tomada de decisão única. Por exemplo, uma seguradora pode querer pagar um dividendo extraordinário pelo seu 100.º aniversário. Tendo em conta a sua base de capital, a carteira de contratos e os sinistros em aberto, a empresa precisa de decidir qual seria um pagamento de dividendos aceitável sem afetar o seu rating da S&P ou da Moody’s — o qual está fortemente indexado à redução de capital provocada por um pagamento elevado de dividendos. Uma análise pontual deste género pode ser feita recorrendo a métodos estruturados e à tecnologia de Processamento de Linguagem Natural (NLP), resumindo-se à leitura rápida de todos os documentos de texto. Neste caso, não há necessidade de desenvolver um software ou uma aplicação especial para repetir este processo. Trata-se de uma pergunta única que deve ser respondida. Não vale a pena complicar as coisas planeando um produto.
-
A análise repetitiva (ou relatórios regulares): O tipo de análise mais comum é a repetitiva, em que uma determinada questão necessita de resposta de forma regular. A resposta pode não ser trivial e pode exigir modelos complexos de machine learning para prever resultados futuros. Por exemplo, uma empresa pode querer contactar os clientes com maior probabilidade de cancelamento (churn) e fazer-lhes uma oferta melhor para os manter fidelizados. São criados dashboards específicos para os gestores regionais, que obtêm uma visão geral da sua área de vendas e dos clientes que provavelmente irão perder se nenhuma ação for tomada. Neste tipo de análise, é de extrema importância que os dados fluam continuamente, que os dashboards estejam configurados e que os relatórios sejam enviados ao público certo para que se tomem decisões atempadas.
-
O produto ou solução de IA: O produto de IA é muito mais do que um algoritmo, uma análise isolada ou um relatório regular. Aqui, os modelos de IA são incorporados nos processos para a tomada de decisão automática. Isto é feito para reduzir o risco, melhorar a eficiência do processamento, diminuir o tempo de processamento de ponta a ponta ou simplesmente lidar com a enorme quantidade de dados que entram no sistema. Também inclui um mecanismo para recolher dados de feedback, mostrar os resultados do modelo aos administradores e manter e melhorar continuamente a qualidade da previsão. Um exemplo pode ser um sistema para extrair o nome do sinistrado, os detalhes do sinistro, a data do sinistro e avaliar a urgência do mesmo. Os módulos de backend deste sistema permitirão a possibilidade de sobrepor resultados, intervir quando a qualidade da extração descer abaixo de um determinado limiar e mostrarão dashboards com métricas de desempenho ao responsável pela manutenção. O objetivo é abordar o problema de forma holística, otimizando o fluxo e a qualidade, ao mesmo tempo que oferece a possibilidade de intervenção humana para contornar o sistema quando necessário.
Os três tipos de projetos de ciência de dados podem trazer enormes benefícios para uma empresa. Mas o que é importante para transformar uma análise num produto? Quais são os passos e as considerações necessárias e como se pode explicar isto aos principais decisores?
Na próxima parte deste artigo, abordo estas questões e partilho diretrizes sobre como transformar com sucesso um projeto de ciência de dados num produto de IA.
