O que são stems — e dá mesmo para separar uma música pronta?

Stems, no sentido próprio

Um stem é uma submixagem agrupada mantida à parte do resto: toda a bateria em um, todo o vocal em outro, e assim por diante. Existem para que um engenheiro de masterização, um remixer ou um técnico de som ao vivo possa trabalhar numa parte sem tocar nas outras.

Stems de verdade são simplesmente arquivos que alguém guardou. Se você os tem, não há nada a estimar — eles nunca chegaram a ser combinados.

Separação não é a mesma coisa

Depois que a faixa é mixada, todas as partes foram somadas em dois canais de áudio. Essa soma não é reversível; as partes individuais não existem mais em lugar nenhum do arquivo.

Então um modelo de separação não as recupera. Ele estima: dada esta mistura, como cada parte provavelmente soava sozinha? Ele ouviu música suficiente para acertar muito, mas é um palpite.

Daí o caráter tão particular dos resultados. As partes costumam convencer sozinhas, com um traço tênue das outras ainda audível, e trechos densos ganham uma qualidade meio aquosa, borrada. Não são defeitos a corrigir — é assim que soa uma estimativa.

O que volta para você

Quatro faixas: vocal, bateria, baixo e todo o resto. Essa última não é um descuido do modelo — é a categoria de guitarras, teclados, cordas, sintetizadores e tudo que não seja uma das outras três. Se a sua música se apoia num piano, o piano está em «outros».

Todo stem tem a duração inteira do original e se alinha com ele exatamente, então dá para carregá-los em qualquer editor e eles ficam sincronizados.

Funciona bem? Nós medimos

«Rodou e saíram quatro arquivos» não prova absolutamente nada — quatro arquivos de papa plausível pareceriam idênticos. Então montamos uma mistura cujos ingredientes conhecíamos exatamente: uma gravação de fala, uma senoide de 60 Hz fazendo as vezes de baixo e rajadas curtas de ruído fazendo as vezes de bateria. Depois correlacionamos cada stem de saída com cada ingrediente conhecido.

Cada stem bateu com o próprio ingrediente em quase exatamente 1,0 e com os demais em quase exatamente 0. O stem de bateria continha as rajadas de ruído e essencialmente nada mais; o de baixo continha a senoide e essencialmente nada mais.

Esse teste prova que a separação é real e está corretamente ligada. Não prova que qualquer música vá se separar com limpeza — música real é bem mais difícil que uma mistura sintética, e uma masterização muito densa ou muito comprimida é mais difícil ainda.

É lento, e isso é um fato sobre o método

A separação passa a forma de onda inteira por uma rede neural. Medimos 7,8 segundos de áudio levando 15,1 segundos para processar — aproximadamente o dobro do tempo real. Uma música inteira, portanto, passa de seis minutos.

Por isso a ferramenta trabalha numa prévia de 30 segundos e diz o número antes de você apertar qualquer coisa, em vez de iniciar um trabalho de seis minutos numa aba e torcer para você ficar.

Separar não cria direito de usar

Tirar o vocal de um disco comercial não muda de quem é aquela gravação. Praticar sobre um instrumental, estudar um arranjo ou fazer algo para você mesmo é uma situação; publicar ou distribuir o resultado é outra, e a separação não afeta isso em nada.

Nada do que você carrega aqui sai da sua máquina — mas isso é uma afirmação sobre privacidade, não sobre licenciamento.