LegoGPT, a nova ferramenta IA que cria peças a partir de texto

O LegoGPT foi desenvolvido por uma equipa de cientistas da Universidade Carnegie Mellon e permite criar designs Lego a partir de comandos de texto.
Se é fã das construções Lego agora já pode transformar as suas ideias nas famosas peças para construir estruturas. Uma equipa de cientistas da Universidade Carnegie Mellon desenvolveu uma ferramenta baseada em inteligência artificial (IA) que permite gerar designs Lego com base em entradas de texto. De acordo com a equipa de investigadores, foi testado “um modelo de linguagem autorregressivo para prever o próximo bloco a ser adicionado por meio da previsão do próximo token”.
A IA foi treinada num conjunto de dados com mais de 47 mil estruturas de Lego que constroem mais de 28 mil objetos 3D exclusivos, incluindo estantes, mesas, cadeiras, carros, navios ou guitarras, por exemplo. Foram utilizados para treinar o modelo de IA, permitindo que este criasse designs únicos e originais apenas a partir de entradas de texto. Ou seja, o LegoGPT converte o texto num design LEGO, posteriormente convertido em tokens de texto ordenados de baixo para cima. São criadas instruções para emparelhar os blocos Lego estruturados com anotações que explicam o design para que a IA entenda as relações entre o prompt de texto e os blocos físicos.
“O sistema não apenas cria projetos estáveis e visualmente atraentes, mas também perfeitamente alinhados com as descrições fornecidas”, explicaram os investigadores da Universidade Carnegie Mellon.
A tecnologia verifica automaticamente cada bloco adicionado, garantindo que a estrutura é fisicamente estável e pode ser montada tanto por humanos como por braços robóticos. O LegoGPT também oferece um sistema de texturização baseado em texto, permitindo a criação de designs coloridos e com diferentes acabamentos. Este LLM (Large Language Model) para criar peças Lego é gratuito e de código aberto e já está disponível ao público. A ferramenta poder ser combinada com outros modelos de IA para processamento de imagens.