Tiago Tavares usou um modelo de rede neural de machine learning que calcula o arranque do movimento dos músicos

 

Leandro Steiw

 

O professor Tiago Tavares, do curso de Ciência da Computação do Insper, publicou os resultados de uma experiência com rede neural convolucional (CNN) de machine learning na detecção de gestos musicais de bateristas e baixistas. As conclusões do artigo científico “Air Drums and Bass: Anticipating Musical Gestures in Accelerometer Signals with a Lightweight CNN”, em coautoria com Lucas Bertoloto, foram apresentadas no IEEE 33rd International Workshop on Machine Learning for Signal Processing (MLSP), do Instituto de Engenheiros Eletricistas e Eletrônicos (IEEE), em 2023.

Detecção de gestos e música têm sido duas linhas de pesquisa de Tavares nos últimos dez anos. Uma manifestação pitoresca de gestos musicais é o chamado air drums — a interpretação de movimentos exagerados ou não de bateristas reais. Não só em brincadeiras em frente ao espelho ou em bandas de rock imaginárias, mas também em uso de dispositivos interativos de música e jogos eletrônicos. “A maneira mais simples de fazer um detector de bateria é analisar um movimento e registrar quando ocorre uma alteração brusca desse movimento”, diz Tavares. “Então, você está tocando o seu air drums e faz um repique fictício no ar. Num dispositivo eletrônico, o som correspondente ao gesto toca depois do repique, com algum atraso, mas no dispositivo real, o som toca junto do repique.”

A inspiração do estudo vem do aprendizado de baixo, violão e piano de Tavares — além desses instrumentos, ele também toca flauta e violino. “Em um grupo musical, você não espera a outra pessoa tocar para responder”, afirma. “Você olha para a pessoa e antecipa o que está acontecendo. É assim na dança também. Quando você dança, não pode esperar a batida para preparar o seu gesto. Você tem que preparar o gesto antes de a batida acontecer, senão você não põe o pé no chão na hora certa. Na verdade, a preparação e a antecipação nos permitem tocar em conjunto, fazer ciranda e qualquer atividade desse tipo.”

Nesta pesquisa, Tavares buscou identificar os gestos do baterista, desde a elevação do braço até o toque efetivo da baqueta no instrumento. Sabendo que esse movimento leva 100 ou 200 milissegundos, já é possível antecipar bastante o som. Por volta de 2012, a tendência era usar atuadores robóticos para tocar bateria, com resultados muito bons, mas sem o apelo gestual do baterista humano no palco. “O problema desses atuadores é que, quando você dá a instrução, ele demora um pouquinho para responder, porque é um motor que precisa movimentar a baqueta”, diz.

O professor explica que existe um modelo de rede neural de machine learning que calcula o arranque do movimento, ou seja, mede quanto a aceleração está mudando em relação ao tempo. O arranque é o que nos faz sentir o tranco dentro de um carro. A dificuldade, porém, é que não há um modelo perfeito para determinar qual será o gesto do baterista — músicos mais ou menos performáticos ou de estilos musicais variados fazem gestos diferentes até baterem no instrumento. E a intenção notável do air drums é sempre demonstrar empolgação. Quanto mais exagerada a performance, melhor.

 

Sinal de acelerômetro

Tavares escolheu uma rede convolucional que faz análise de imagens, mas usou um sinal de acelerômetro — processadores que detectam a inclinação de um dispositivo nas três dimensões, como os que equipam smartphones e tablets — para calcular o arranque. É uma técnica alternativa à instalação de acelerômetros nas baquetas, por exemplo, adotada por algumas empresas que desenvolvem tecnologias de air drums. “A rede funcionou satisfatoriamente e permite a conclusão de que somos capazes de antecipar gestos de bateria razoavelmente bem, mas não somos capazes de antecipar todos os possíveis gestos de música, porque alguns são muito mais discretos que os outros”, afirma Tavares.

Acima de tudo, a pesquisa demonstra que a música e a bateria são apenas ingredientes como quaisquer outros no estudo de tecnologias com valor de mercado. “Como professor, um lado legal da pesquisa é mostrar na sala de aula que problemas parecidos, em qualquer área, são perspicazmente resolvíveis usando rede neural, modelo estatístico e modelo algébrico — só falando das disciplinas que ensino”, diz Tavares. O estudo de gestos humanos tem potencial de aplicação em softwares de e-sports ou em programas de treinamento de pênaltis para goleiros de futebol, por exemplo.

O desenvolvimento e o aproveitamento da rede neural para detectar gestos musicais vão depender do interesse comercial. “As possibilidades dessa tecnologia dependem muito da criatividade de quem estiver usando, porque o resultado teórico somente prova que a rede neural funciona”, afirma o professor. “Foi muito interessante tratar o tema no contexto acadêmico, mas o lugar mais certo para avançar no uso criativo de tecnologias como essa seria uma empresa de música.”

Dispositivos de air drums se popularizam porque as necessidades mudaram, avalia Tavares. Há 30 anos, algumas pessoas moravam em casas maiores e podiam reunir uma banda humana no quarto, algo inviável em apartamentos cada vez menores. Além disso, instrumentos musicais de qualidade são caros. “Hoje, todo mundo pode tentar ser produtor musical porque toca em equipamentos pequenos com fones de ouvido, sem incomodar os vizinhos”, diz ele. “Mesmo porque a vontade não é mais juntar os amigos e tocar numa garagem, mas colocar o vídeo no TikTok ou no Instagram e fazer sucesso online. A virtualidade dos instrumentos está acompanhando a virtualidade das relações.”

Como em muitas experiências, Tavares tinha uma motivação pessoal pela pesquisa. “A bateria é uma das grandes frustrações da minha vida, pois é um dos únicos instrumentos que eu não consigo tocar de jeito nenhum”, diz. “Mas a bateria é um instrumento simples e parece ter um apelo maior com as pessoas. Você vê muito mais gente por aí tocando air drums do que air piano, não é? E todo mundo já deve ter visto um baterista de verdade empolgado no palco, mas quase ninguém vai saber diferenciar um baixista empolgado de um baixista mais comedido.”