TL:DR
1) A IA precisa mudar para um modelo mais centrado em dados, pois um bom número de projetos de IA ainda tem dificuldade em produzir resultados estáveis.
2) É necessário construir a base para que a IA tenha sucesso em escala de forma consistente.
3) Há uma escassez de Engenheiros de Dados no mercado.
4) A Escola Livre de IA, com o apoio da I2AI, está lançando uma nova iniciativa para elucidar os conceitos básicos de Engenharia de Dados.
Em março – professor, pesquisador e empreendedor influente – Andrew Ng provocou a comunidade de Dados a mudar de uma abordagem centrada no modelo para uma abordagem centrada em dados para melhorar resultados de IA. Sua proposta é que este seria um caminho mais sistemático e eficiente na entrega de resultados e valores reais para as empresas que investem em Inteligência Artificial. Para mim, as ideias de Andrew sempre terão minha atenção, já que foi há muito tempo com seus cursos de Stanford em 2016 que eu realmente entrei em contato com os conceitos de Machine Learning - e todas as matemáticas e estatísticas que correm sob o capô em modelos de IA - finalmente me tornando um Cientista de Dados!
Andrew Ng em MLOps: De Model-centric a AI centrada em dados
Mas de volta ao "Chat with Andrew" que mencionei, as principais mensagens de sua palestra foram:
· Desde o "boom" da IA nos últimos anos, a ênfase da comunidade – e o investimento corporativo – tem sido focada no ensino, desenvolvimento e melhoria de algoritmos de IA mais sofisticados e complexos – com um zoológico em expansão de diferentes arquiteturas de rede neural, entre outros modelos, sendo desenvolvido.
· Embora essa abordagem tenha obtido resultados incrivelmente significativos, as evidências iniciais começaram a mostrar que melhorar a qualidade dos dados – tendo não apenas Big Data, mas lutar por Dados de Qualidade pode ser o próximo passo que realmente desbloqueará a IA.
Curiosamente, também podemos observar, de acordo com o recente "PWC – Previsões de IA para 2021" publicado este ano – que ainda há um longo caminho a percorrer para que as empresas colhem plenamente os benefícios e os resultados do investimento em IA: atingindo escala na produção de forma consistente.
PWC – Previsões de IA 2021
Então, será que ainda estamos sem a base para o verdadeiro sucesso dos Projetos de IA? Basta olhar para a imagem abaixo – Cientistas de Dados (e eu me incluo neste grupo) geralmente só trabalham nas camadas mais altas da pirâmide. Esse deveria ser nosso foco? Não surpreende que ao olhar sites de IA e Ciência de Dados, há também um número crescente em artigos recentes sobre este assunto:
A Hierarquia das Necessidades da Ciência de Dados – Monica Rogati
Não precisamos de cientistas de dados, precisamos de engenheiros de dados
Por que você deve considerar ser um engenheiro de dados em vez de um cientista de dados - KD Nuggets
Você deve se tornar um engenheiro de dados em 2021? - Para a Ciência de Dados
Ciência de Dados... sem dados? - Cassie Kozyrov (Chefe de Inteligência de Decisão - Google)
Além disso, nas recentes "Top Strategic Technology Trends for 2021” do Gartner , Engenharia de IA é listada como uma das áreas mais importantes de oportunidade e formas para as organizações se diferenciarem dos concorrentes. Do relatório:
"A engenharia de IA está em três pilares principais: DataOps, ModelOps e DevOps.
· O DevOps lida principalmente com mudanças de código de alta velocidade, mas os projetos de IA experimentam mudanças dinâmicas em código, modelos e dados, e tudo deve ser melhorado.
· As organizações devem aplicar os princípios do DevOps em todo o pipeline de dados para DataOps e o pipeline de modelos de aprendizado de máquina para MLOps para colher os benefícios da engenharia de IA."
Gartner – Principais Tendências Estratégicas de Tecnologia para 2021
E, finalmente: anedotamente, também posso compartilhar minha experiência pessoal de conversar com diferentes empresas sobre como eles veem as tendências futuras em IA – e sua mensagem é alta e clara:
Precisamos de mais engenheiros de dados – não temos o suficiente para nossos planos atuais e estratégicos.
E não só isso: à medida que a demanda excede a oferta de profissionais experientes e de qualidade, um ciclo perigoso e auto-debilitado se segue:
· Como há escassez de profissionais mais experientes, as empresas começam a roubar engenheiros de dados uns dos outros.
· Não só os custos e salários aumentam em todo o quadro, mas as promoções de contratação cruzada também são concedidas como incentivos paraas mudanças de emprego. Então, por exemplo, um engenheiro júnior é de repente, e prematuramente, ofereceu um cargo mais sênior em outra empresa. E isso pode acontecer mais de uma vez para uma única pessoa.
· Esse cenário, evidentemente, leva a um aumento da volatilidade/turnoverem equipes e gestão, o que, por sua vez, começa a comprometer o conhecimento da corporação sobre sua própria infraestrutura tecnológica - prejudicando, em última análise, a manutenção, governança e escalabilidade que engloba tudo em "Engenharia de IA".
Acho que a chamada é clara e a necessidade parece ser predominante: se realmente queremos obter resultados de nossas iniciativas de IA, devemos primeiro construir a base que a apoiará: desenvolver os recursos "Engenharia de IA" (DataOps, ModelOps e DevOps) e teams – precisamos de mais pessoas nesses esquadrões.
Como um dos chefes da Escola Livre de IA (http://escolalivre-ia.com.br/) decidimos agir sobre o assunto... agora!
Lançamos em 14 de junho, com o inestimável suporte da I2AI, um novo Curso Livre de Engenharia de Dados – no qual quinzenalmente hospedaremos um especialista que apresentará brevemente as principais ferramentas e conceitos da área. Nosso objetivo é chamar a atenção e atrair mentes brilhantes para a Engenharia de Dados, para que possamos começar a preencher essa lacuna e, finalmente, ajudar a Revolução da IA!
Espero vê-lo lá!
https://www.kdnuggets.com/2021/04/consider-being-data-engineer-instead-data-scientist.html
