O modelo de IA de código aberto no dispositivo da Apple transforma instantaneamente imagens em cenas, e os proprietários do Vision Pro podem experimentá-lo no aplicativo Splat Studio.
Desde visão OS 26o próprio aplicativo Fotos da Apple incluiu um recurso de um clique para transformar quase instantaneamente qualquer imagem em uma ‘Cena Espacial’. É essencialmente uma foto volumétrica com uma área limitada de liberdade de visualização, na qual você pode se inclinar levemente para atingir o pico.
Enquanto isso, ao longo do último ano surgiram vários sistemas de IA proprietários e de código aberto que podem ir muito além, transformando uma foto em uma cena que você pode explorar livremente e até mesmo passear. Por exemplo, Mármore permite que você faça isso no navegador do seu fone de ouvido e explore a cena no WebXR.
Marble transforma uma imagem em uma cena volumétrica WebXR em minutos
Marble, um modelo de IA do World Labs, pode transformar uma única imagem em uma cena volumétrica que você pode visualizar no WebXR em questão de minutos.
No entanto, o Marble é um modelo do lado do servidor computacionalmente caro, que leva alguns minutos para produzir seu resultado. E é isso que torna o SHARP da Apple particularmente interessante.
O SHARP é executado em dispositivos de consumo típicos, com suporte geral de CPU, bem como aceleração de hardware Nvidia CUDA e Apple Silicon Metal, levando menos de um segundo para ser concluído na maioria dos hardwares.
Em uma rara mudança da Apple, o SHARP é gratuito e de código aberto, com o código disponível no GitHub. Você pode baixá-lo e executá-lo facilmente em um Mac, por exemplo.
Tal como acontece com quase todos os avanços notáveis na reconstrução 3D ao longo dos últimos anos, gera um splat Gaussiano, ajustando milhões de bolhas coloridas semitransparentes (Gaussianas) no espaço 3D para que pontos de vista arbitrários possam ser renderizados realisticamente em tempo real. Você recebe o resultado como um arquivo .ply que pode ser renderizado em qualquer visualizador 3DGS padrão.
Para os proprietários do Apple Vision Pro, o desenvolvedor português Rob Matwiejczyk criou um aplicativo visionOS que integra o modelo SHARP da Apple em uma interface gráfica fácil de usar e elimina a necessidade de usar um Mac ou PC.
UploadVR testando Splat Studio, o aplicativo visionOS desenvolvido pela SHARP da Apple.
Chamado de Splat Studio, o aplicativo está disponível gratuitamente na App Storee é executado inteiramente no dispositivo. Basta escolher qualquer imagem da sua biblioteca de fotos e ela será instantaneamente transformada em uma cena 3D flutuando à sua frente, que você pode girar, mover e dimensionar com as mãos.
Testei o Splat Studio no M5 Apple Vision Pro, usando a mesma sala VR do Steam Dev Days 2014 que usei para testar Mármore. Para efeito de comparação, também transformei a mesma imagem em uma cena espacial no aplicativo visionOS 26 Photos. Você pode ver a filmagem do resultado do Splat Studio acima e da cena espacial abaixo.
O aplicativo Splat Studio transformou a imagem em uma cena em cerca de 20 segundos, em comparação com o resultado quase instantâneo do aplicativo Photos da Apple, mas não está claro quanto disso se deve realmente ao modelo SHARP em comparação com qualquer sobrecarga que o aplicativo Splat Studio possa adicionar.
O recurso Spatial Scenes do Apple Photos no visionOS 26, para comparação.
Quanto ao resultado, embora o Apple Photos Spatial Scene permita que você observe a cena, o grau em que você pode se mover em cada direção é relativamente limitado. Enquanto isso, o resultado SHARP no Splat Studio permite que você se mova livremente pela cena. A desvantagem, como acontece com muitos resultados generativos de IA, é alguma perda de detalhes, bem como detalhes alucinados à medida que você se afasta da perspectiva original da imagem.
Leave a Reply