[{"jcr:title":"Alunos de Computação criam simulador para busca de náufragos com enxames de drones"},{"targetId":"id-share-1","text":"Confira mais em:","tooltipText":"Link copiado com sucesso."},{"jcr:title":"Alunos de Computação criam simulador para busca de náufragos com enxames de drones","jcr:description":"O Projeto Final de Engenharia usou técnicas de aprendizagem de reforço em machine learning para treinar aeronaves não tripuladas em operações de salvamento no mar"},{"subtitle":"O Projeto Final de Engenharia usou técnicas de aprendizagem de reforço em machine learning para treinar aeronaves não tripuladas em operações de salvamento no mar","author":"Ernesto Yoshida","title":"Alunos de Computação criam simulador para busca de náufragos com enxames de drones","content":"O Projeto Final de Engenharia usou técnicas de aprendizagem de reforço em machine learning para treinar aeronaves não tripuladas em operações de salvamento no mar Os alunos Leonardo Malta, Enrico Damiani, Luís Filipe Carrete e Manuel Castanares   Leandro Steiw   Estudantes de Engenharia de Computação do Insper criaram um ambiente de simulação e usaram técnicas de aprendizagem de reforço ( reinforcement learning , em inglês) para treinar drones na busca de náufragos. Orientados pelo professor Fabrício Barth, os alunos Enrico Francesco Damiani, Leonardo Duarte Malta de Abreu, Luís Filipe Sanchez Carrete e Manuel Castanares desenvolveram o [Projeto Final de Engenharia](https://www.insper.edu.br/pfe/) (PFE) em parceria com a Embraer, sob mentoria do engenheiro de desenvolvimento de produto José Fernando Basso Brancalion. Um dos interesses da pesquisa solicitada pela Embraer, um dos maiores fabricantes de jatos comerciais do mundo, é o controle de drones autônomos, capazes de tomar decisões em determinadas tarefas sem a intervenção humana, como usualmente ocorre na operação desses veículos. No desafio proposto aos graduandos, os drones navegariam com o auxílio de um mapa de probabilidades de localização dos náufragos. Grosso modo, relatado o acidente, a equipe de resgate conhece as coordenadas do acidente e inicia as buscas a partir desse ponto. Uma alternativa à utilização de aeronaves tripuladas seria o enxame de drones, grupo de aeronaves não tripuladas de pequeno porte dotadas de sensores e atuadores que vasculham e interagem com o ambiente de busca. O tempo é um limite crítico nessas situações: quanto maior for a demora na identificação do náufrago em certas posições, menores são as chances de sobrevivência. Uma abordagem tradicional é estabelecer um comportamento pré-configurado para os movimentos dos drones, seguindo padrões de ziguezague, circulares ou paralelos. Fabrício Barth conta que alguns pesquisadores começaram a questionar se não haveria uma forma mais eficiente na qual o próprio drone pudesse, dado o cenário, determinar o melhor comportamento a seguir. Começaram, então, a experimentar o uso de reinforcement learning , um método de treinamento em machine learning que oferece recompensas a cada tentativa bem-sucedida ou malsucedida do agente (neste caso, o drone). De modo autônomo, o veículo aéreo sabe se movimentar (norte, sul, leste e oeste, acima e abaixo) e visualizar uma determinada área (com câmeras, por exemplo). “Só que quando ele executa uma ação, muda-se o ambiente”, explica o professor. “O drone recebe um novo estado e uma recompensa, que pode ser positiva, negativa ou neutra. Neste nosso problema, se o drone informa a busca em uma região do oceano e encontra o náufrago, vai receber uma recompensa superpositiva porque conseguiu alcançar o objetivo.” Quando o drone realiza ações de movimento e nada acontece, a recompensa é neutra. Porém, caso colida com outro drone do enxame durante essa movimentação, saia da área de busca ou fique sem bateria, a recompensa é negativa. “Isso é o que se chama de função de reforço”, afirma Barth. A ideia da Embraer é experimentar o processo de aprendizagem por reforço por meio de cenários de naufrágios, que simulam os movimentos das máquinas e das correntes marítimas, por exemplo, em ambiente computacional. Milhares ou milhões de testes de aprendizagem similares em drones reais seriam caros e demorados.   Simulador próprio Os alunos pesquisaram trabalhos correlatos e encontraram simuladores para problemas distintos, mas nenhum para resgate de náufragos. Decidiu-se implementar e tornar público um simulador próprio, em conformidade com o padrão da biblioteca PettingZoo, na linguagem Python, que facilitará a implementação posterior por outros interessados — toda a documentação está disponível neste [link](https://pypi.org/project/DSSE/) . “Se alguém pesquisar sobre busca de náufragos usando reinforcement learning , poderá utilizar essa biblioteca desenvolvida pelos alunos”, diz Barth. O segundo produto entregue pelo PFE foi a implementação do ambiente de agentes múltiplos, ou seja, diversos drones trabalhando em cooperação e treinados pelo método de aprendizado de reforço. Foram simuladas configurações com uma, duas e quatro aeronaves. Na pesquisa, cada busca completa pelo náufrago representa um episódio. O relatório mostra que, à medida que se aumenta o número de episódios, a experiência dos agentes cresce. Os drones tentam novos caminhos e aprendem por reforço. O projeto abre possibilidades para vários trabalhos futuros, segundo Barth. Podem-se usar dados marítimos para aperfeiçoar a simulação de movimentos do náufrago na correnteza e melhorar a matriz de probabilidades, testar outros algoritmos de reinforcement learning ou aplicar o processo em drones reais e observar o comportamento do modelo. “Esse não é um assunto fácil, e o grupo conseguiu se organizar, dividir o trabalho, interagir periodicamente com o cliente e apresentar o resultado esperado”, afirma o professor.   Grupo em sintonia A integração dos quatro alunos ajudou no desempenho. Luís Filipe Carrete e Manuel Castanares estudaram na mesma escola e mantiveram-se em sintonia na faculdade de Engenharia de Computação. Leonardo Malta e Enrico Damiani trabalham na mesma empresa e conheciam bem os métodos de trabalho. Juntos, os quatro já haviam compartilhado projetos anteriores nas disciplinas do Insper. “Foi sorte estar nesse grupo, pois temos muito respeito um pelo outro”, diz Carrete. “Acredito que isso ajudou muito na nossa dinâmica, pois tínhamos intimidade e não ficávamos com vergonha de expressar as nossas opiniões em relação ao desenvolvimento do PFE. A nossa relação e amizade deixou uma marca no trabalho, e sem ela o nosso projeto não seria o mesmo.” Grande parte do conhecimento necessário para avançar no projeto foi adquirida em sala de aula, conta Castanares. Alguns aspectos técnicos específicos do projeto, como a produção do algoritmo de aprendizagem por reforço multiagente, vieram do aprendizado externo. “Com a ajuda do nosso orientador, tivemos que fazer pesquisas antes de desenvolver o algoritmo”, explica Castanares. “Uma vez que as pesquisas estavam prontas, fizemos uma primeira iteração do algoritmo. A partir disso, foram diversas iterações até atingir o resultado esperado.” Malta diz que a solução se alinhou às metas estipuladas no início do PFE. “Após colaborarmos com o engenheiro José Fernando, da Embraer, para definir as expectativas do projeto, nosso objetivo era investigar o potencial do uso de drones controlados por um sistema de inteligência artificial, juntamente com uma matriz de probabilidades, para resolver a busca por náufragos”, afirma. “No decorrer do trabalho, conseguimos atingir essa meta, além de construir um ambiente simulado para reproduzir esse cenário.” Para cumprir os prazos estabelecidos, os estudantes optaram por algumas simplificações que, segundo eles, poderiam ser mais bem elaboradas se houvesse mais tempo de desenvolvimento. “Além disso, encontramos desafios que causaram atrasos em algumas entregas, sendo que, com uma extensão do período de desenvolvimento, teríamos a oportunidade de aprimorar essas simplificações”, diz Malta. “Apesar dos contratempos enfrentados e das simplificações adotadas, conseguimos atender aos requisitos e, em geral, atingimos as expectativas iniciais estabelecidas.” A periodicidade das reuniões com a Embraer foi decidida logo no início do projeto. A cada 15 dias, a evolução da pesquisa era apresentada para o mentor na empresa. “Também trocávamos e-mails com frequência e, sempre que necessário, nos respondiam assiduamente e com muito entusiasmo, realmente nos ajudando”, afirma Damiani. “Além dessas reuniões quinzenais, com o intuito de mostrar o que estávamos fazendo e alinhar os próximos passos, tivemos mais duas reuniões com vários membros da empresa, nas quais fizemos as nossas apresentações intermediárias e a final.” Como é habitual no PFE do Insper, o projeto deverá ter continuidade por meio de outro grupo do no segundo semestre de 2023. “Estamos disponíveis para auxiliar e esclarecer dúvidas para os alunos que assumirão a continuação do projeto”, diz Malta. O relatório foi publicado em um repositório de artigos e, agora, o grupo prospecta oportunidades de participação em feiras científicas para divulgar o projeto no campo de estudo da inteligência artificial.  "}]