Inteligência artificial · Fundamentos · 6 min de leitura
IA multimodal: texto, imagem, áudio e vídeo no mesmo modelo
Como um modelo passa a “ver” imagens e “ouvir” áudio: cada tipo de dado vira uma sequência de vetores que o mesmo transformer processa.
Arraste para o lado para ver o diagrama inteiro.
A ideia central
Um LLM trabalha com sequências de vetores. Para incluir outros tipos de dado, basta um codificador que os converta nessa mesma linguagem: a imagem é cortada em pequenos blocos (patches), cada bloco vira um vetor; o áudio vira um espectrograma, também fatiado. Esses “tokens” entram junto com os de texto, e a atenção relaciona tudo.
Como os modelos aprendem a ligar imagem e texto
- Aprendizado contrastivo (CLIP): treina um codificador de imagem e um de texto para que a foto de um cachorro e a frase “um cachorro” fiquem próximas no espaço vetorial. É a base de busca por imagem e de muitos geradores.
- Modelos de visão e linguagem: conectam um codificador visual a um LLM e treinam com pares imagem–texto e instruções, para descrever, ler documentos, interpretar gráficos e responder perguntas sobre a imagem.
- Fala: modelos como o Whisper transcrevem áudio; os mais novos processam e geram voz diretamente, com menos atraso.
Usos e limites
Bons usos: ler notas fiscais e formulários, descrever imagens para acessibilidade, analisar capturas de tela, transcrever reuniões. Limites: contagem exata de objetos, leitura de textos minúsculos, posição espacial precisa e alucinação de detalhes que não estão na imagem. Imagens consomem muitos tokens — reduzir a resolução corta custo quando o detalhe não importa.
Em resumo
- Codificadores transformam imagem e áudio em tokens.
- CLIP aproxima imagem e texto no mesmo espaço.
- Ótimo para documentos, telas e acessibilidade.
- Erra contagens e detalhes pequenos; imagens custam tokens.
Vantagens e custos
- Uma só interface para vários tipos de dado
- Lê documentos e telas sem OCR separado
- Mais caro por requisição
- Alucina detalhes visuais
- Privacidade de imagens enviadas