Objetivo: Diretor de Tecnologia Doméstica

Sep 15, 2023

O Objectifier de [Bjørn Karmann] é um dispositivo que permite controlar objetos domésticos, permitindo que eles respondam a ações ou comportamentos únicos, usando aprendizado de máquina e visão computacional. O Objectifier pode acender um abajur quando você abre um livro e desligá-lo quando você fecha o livro. Ligue a cafeteira quando colocar a caneca ao lado da cafeteira e desligue-a quando a caneca for removida. Ligue a lixadeira de cinta ao colocar os óculos de segurança e pare-a ao removê-los. Carregue o telefone quando colocar uma banana na frente dele e pare de carregá-lo quando colocar uma maçã na frente dele. Você entende - as possibilidades são infinitas. Esperançosamente, em algum momento no futuro (próximo), poderemos interagir com objetos inanimados dessa maneira. Podemos fazer com que aprendam com nossas ações, em vez de aprendermos como programá-las.

O dispositivo usa visão computacional e uma rede neural para aprender comportamentos complexos associados aos seus comandos de gatilho. Um modo de treinamento, usando um aplicativo de telefone, permite treiná-lo para as ações On e Off. Algumas ações exigem mais esforço humano para treiná-lo – como detectar um livro aberto e fechado – mas, eventualmente, a rede neural faz um bom trabalho.

A versão atual é o sexto protótipo da série e [Bjørn] trabalhou bastante para refinar o projeto em cada estágio. Em seu último avatar, o hardware do dispositivo consiste em um Pi Zero, um módulo de câmera Raspberry-Pi, uma fonte de alimentação SMPS, um bloco de relé para comutar a saída, um plugue de 230 V para alimentação de entrada e uma tomada de 230 V para o final saída. Todas as peças são montadas de maneira bastante organizada usando peças de suporte de acrílico cortadas a laser e, em seguida, fechadas em um belo gabinete de madeira.

No lado do software, toda a parte de aprendizado de máquina é realizada usando o "Wekinator" - um software gratuito e de código aberto que permite construir instrumentos musicais, controladores gestuais de jogos, visão computacional ou sistemas de escuta de computador usando aprendizado de máquina. A visão computacional é tratada via Processing. Todo o código é empacotado usando openframeworks, com ml4A fornecendo aplicativos para trabalhar com aprendizado de máquina.

Tudo o que foi dito acima é o que podemos deduzir olhando as fotos e informações em sua postagem no blog. Não há muitos detalhes sobre o hardware, mas as fotos são suficientes para nos contar tudo. O software não está disponível, mas talvez isso possa estimular alguns de vocês, hackers, a criar outra versão do Objectifier. Confira o vídeo após o intervalo, mostrando os humanos ensinando seus truques ao Objectifier.