Créditos: Imagem cortesia de SHAS Communications
O Digital Humanities Lab revela seu Sonification Toolkit, que permite a conversão de quase tudo – de dados a desenhos – em som.
Como é o pôr do sol? Ou tons ascendentes de vermelho? Agora você pode ouvir através do Sonification Toolkit, um protótipo polido e em funcionamento de uma iniciativa de um ano alimentada pela imaginação e experiência combinadas de duas dúzias de estudantes do MIT.
O último grande empreendimento do Laboratório de Humanidades Digitais do MIT (DH Lab) começou na primavera passada com uma ideia inicial de Evan Ziporyn, membro do corpo docente do laboratório, e do Kenan Sahin Distinguished Professor of Music. Ziporyn reflete que a bolsa do corpo docente do DH Lab foi uma transição fortuita, pois ele estava considerando como expandir seu projeto de sonificação anterior, que envolvia transformar intrincadas teias de aranha em instalações de áudio imersivas.
O protótipo Sonification recém-lançado, um trabalho em andamento com recursos de ponta, é uma incursão exploratória robusta em possibilidades de sonificação. O laboratório tem muitas outras ambições para o kit de ferramentas: entre as mais empolgantes está um aplicativo da Web que transformará quase tudo digital – de dados numéricos a desenhos – em som.
Verdadeira sonificação
Sonificação é o processo de traduzir um objeto ou estrutura de um conjunto de dados em som, usando computadores. Para dar um exemplo simples, pense em um conjunto de escadas (como as do Museu da Ciência em Boston) com cada degrau atribuído a uma nota na escala maior. O movimento ao longo da escada produz as respectivas notas. Mas isso é realmente sonificação? Ziporyn faz uma distinção importante: ele procura produzir som fielmente com base nos atributos do próprio objeto, não impor som a um objeto.
Ele explica: “A escada é um objeto humano, assim como uma escala maior. A escada não é literalmente análoga a uma escala maior – é apenas que a escala maior soa bem para muitas pessoas.” A escada em si não está realmente sendo sonificada, apenas recebendo valores que dão um resultado agradável e digerível. “O que estávamos tentando fazer usando as relações numéricas puras entre [material e som] é fugir disso – para garantir que você obtenha um resultado que realmente reflita a estrutura do objeto, em vez de uma versão humanizada e palatável por essa.”
O kit de ferramentas inclui cinco caminhos para a sonificação com os quais os usuários podem experimentar. Equipes de estudantes pesquisadores compuseram ferramentas para sonificar dados de tempo, polígonos, cores, gestos e formas de texto – construindo software acessível para analisar o objeto digital e permitir que usuários não treinados ouçam e brinquem.
O escopo imaginativo do projeto foi um grande atrativo para a segundanista Jessica Boye-Doe, uma estudante de computação e cognição. “Eu tinha pensado na ideia de transformar itens digitais em som antes”, diz ela, “mas não sabia quanta pesquisa já havia sobre sonificação. Eu vi esse UROP como uma forma de explorar essa aplicação da tecnologia na música.”
O ciclo de vida do Projeto de Sonificação se desenrolou no DH Lab ao longo da bolsa de estudos da Ziporyn. Quarenta alunos do Programa de Oportunidades de Pesquisa de Graduação (UROP), juntamente com a equipe de instrução do laboratório, se reuniram para o semestre de outono, seguindo o processo competitivo de seleção de professores na primavera e as etapas iniciais do projeto durante o verão.
Curiosidade sem fim
Peihua Huang, estudante de segundo ano em ciência da computação e engenharia, aderiu ao projeto cedo, depois de descobrir o DH Lab por meio do evento de orientação do primeiro ano do laboratório. Ela ajudou a construir a infraestrutura inicial do projeto durante o verão e permaneceu no semestre de outono para construir e aperfeiçoar o aplicativo “Gestures to Sound”, uma interface que permite aos usuários fazer gestos com o cursor que são então transmutados em música.
“A interseção do laboratório com as humanidades fez com que, durante o desenvolvimento, pensássemos no projeto através das lentes da disciplina dos professores com quem trabalhamos, bem como do nosso público-alvo”, diz Huang. “Como especialista em ciência da computação, eu realmente valorizo essas oportunidades de colocar minhas habilidades em prática, trabalhar em pequenas equipes e colaborar para criar um projeto abrangente.”
Ryaan Ahmed, diretor associado do DH Lab e engenheiro de pesquisa sênior, conecta todas as muitas peças móveis do laboratório, desde o brainstorming com o corpo docente até a organização de dezenas de alunos do UROP. Projetos como o Sonification Toolkit revelam a gama rica e única da programação do DH Lab. Ao longo dos primeiros cinco anos do laboratório, ele abordou tecnologias emergentes para aprendizes de idiomas, aprimorando análises de arquivos visuais, simulações sobre tópicos que afetam o desenvolvimento democrático na África e análise computacional de linguagem de gênero em romances, entre outros projetos. O nível de criatividade e capacidade exigido por esses projetos fala sobre os pontos fortes multidisciplinares – e curiosidade sem fim – dos alunos de graduação do MIT.
“Não há muitas pessoas no mundo que tenham esse tipo de conhecimento interdisciplinar realmente profundo”, diz Ahmed. “Os alunos do laboratório têm o nível de excelência em engenharia que você encontra no MIT, e também têm uma profunda seriedade e investimento no lado humanista das coisas. Espero que estejamos mostrando aos nossos alunos aqui que você não precisa escolher entre esses reinos: você pode realmente integrá-los.”
Tecnólogos artísticos
A mistura de programação e artes foi o que atraiu inicialmente Grace Jau, graduada em ciência da computação e engenharia, para o DH Lab. Jau trabalhou como estudante pesquisador no Sonification Toolkit no outono passado.
“Como alguém que ama fazer arte e música”, diz Jau, “aprecio que trabalhar no DH Lab me deu a oportunidade de ganhar experiência em minha área técnica, além de me conectar aos meus interesses nas humanidades”.
O amor pela computação e pela música também atraiu a segundanista Emeka Echezona para o laboratório. Formado em engenharia elétrica e ciência da computação, Echezona também toca trompete no MIT Festival Jazz Ensemble. Refletindo sobre o Sonification Toolkit, ele diz: “Muito do trabalho que colocamos na concepção e codificação dos instrumentos para o toolkit só foi possível através do conhecimento de diferentes campos. Mesmo fora do próprio kit de ferramentas, aprendemos sobre conceitos musicais como dinâmica, tom e timbre a partir da visão de campos como a física.”
A conexão imaginativa com as artes e humanidades por meio da tecnologia explorada no Sonification Toolkit tem inúmeras outras aplicações. Os UROPs pensaram em como sonificar pinturas, mapas e fotografias. Como pode ser a Mona Lisa? Com os recentes projetos de sonificação do MIT chegando ao nível de proteínas e energia de partículas, os limites desta forma de arte parecem ser apenas os limites da tecnologia e da imaginação.
Esse tipo de tecnologia mostra outro aspecto da inovação do MIT: o Sonification Toolkit é sobre o que pode ser sonhado e realizado com a perspectiva das artes e humanidades.
“Teremos uma geração de tecnólogos mais bem equipados para pensar nessas áreas sutis e úteis e complexas que as humanidades são ótimas em abordar”, diz Ahmed, “pensando em como as tecnologias em que estão trabalhando afetam as pessoas e as nuances das artes, ciências sociais e humanidades ao seu trabalho técnico”.
Publicado em 12/02/2022 11h13
Artigo original:
Link para o toolkit: