Pathways: A nova geração da inteligência artificial

Resumo: Depois de décadas de marcos importantes para o aprendizado de máquina, temos visto um imenso e novo potencial de uso da inteligência artificial (IA) para resolver alguns dos maiores desafios enfrentados pelo planeta. Apesar disso, com frequência os pesquisadores constatam que o aprendizado de máquina é excessivamente especializado em tarefas individuais, quando, na verdade, deveria sintetizar várias tarefas e adotar uma estratégia com mais nuances. Por isso o Google está criando o Pathways, uma nova arquitetura para criar sistemas de IA que reflitam uma compreensão mais profunda e sejam capazes de se adaptar ao nosso mundo.

Quando penso nos últimos vinte anos de pesquisas em ciências da computação, poucas coisas são mais inspiradoras do que os notáveis avanços na área de inteligência artificial.
Em 2001, alguns colegas que se sentavam a poucos metros de distância da minha mesa no Google perceberam que poderiam usar uma técnica até então pouco conhecida, chamada aprendizado de máquina, para corrigir erros de digitação na Busca. (Lembro de ter ficado impressionado ao ver o uso prático daquela tecnologia para compreender pesquisas com grafias que vão de “pentanetro jamvico” a “inacreditabel”.)

Hoje, a IA apoia muitas atividades que fazemos no dia a dia: ela ajuda a tirar uma boa selfie, traz resultados mais úteis na Busca, alerta milhões de pessoas sobre quando e onde ocorrem alagamentos. Vinte anos de avanços em pesquisas fizeram com que a inteligência artificial deixasse de ser apenas uma ideia promissora e se transformasse num recurso que ajuda bilhões de pessoas todos os dias. Mesmo diante de tanto progresso, ainda fico animado ao perceber que existe mais potencial a ser explorado. A inteligência artificial poderá ajudar a humanidade a enfrentar os desafios mais complexos da história – desde problemas antigos e persistentes, como doenças e desigualdade, a ameaças mais recentes, como as mudanças climáticas.

No entanto, para encarar a profundidade e a complexidade dessas questões urgentes, será preciso contar com novos sistemas de IA, ainda mais capazes de combinar as estratégias já testadas e comprovadas a novas áreas de pesquisa que permitirão resolver, no futuro, problemas que não conseguimos solucionar hoje. Para isso, equipes do Google Research trabalham no desenvolvimento de elementos da arquitetura de IA da nova geração que, em nossa opinião, poderão concretizar esses sistemas.
Batizamos essa nova arquitetura de IA de Pathways.

O Pathways é uma nova forma de pensar sobre inteligência artificial. Ela leva em consideração os diversos pontos fracos nos sistemas existentes e sintetiza os pontos fortes. Para mostrar o que quero dizer com isso, vamos observar algumas dificuldades atuais enfrentadas pelos sistemas de IA e ver como o Pathways pode ajudar a resolvê-las.

Os atuais modelos de IA costumam ser treinados para fazer apenas uma coisa. O Pathways vai permitir treinar um único modelo a fazer milhares e até milhões de coisas.
Os modelos de IA que existem hoje costumam ser treinados para resolver cada novo problema, e esse treinamento começa do zero. Os parâmetros matemáticos do modelo começam, literalmente, com números aleatórios. Imagine se toda vez que você fosse aprender uma nova habilidade (pular corda, por exemplo) você esquecesse tudo o que já havia aprendido antes: como manter o equilíbrio, como saltar, como coordenar os movimentos das mãos. Imagine se fosse preciso começar tudo de novo sempre que você fosse aprender uma coisa nova.

É mais ou menos assim que a maioria dos modelos de aprendizado de máquina é treinada atualmente. Em vez de ampliar os modelos existentes para que aprendam novas tarefas, treinamos cada novo modelo do zero, para que aprenda a fazer uma única coisa nova (às vezes, especializamos um modelo geral para que ele aprenda a fazer uma tarefa específica). Como resultado, acabamos desenvolvendo milhares de modelos, para milhares de tarefas individuais. Isso significa não apenas que leva mais tempo para aprender cada nova tarefa, mas também que é preciso uma quantidade maior de dados para que cada tarefa seja aprendida, já que o objetivo é aprender tudo sobre o mundo e as especificidades de cada tarefa – e já que sempre começamos do zero. Esse método é totalmente diferente do jeito com que os seres humanos aprendem novas habilidades.
Em vez de fazer assim, queremos treinar um modelo capaz não apenas de realizar várias tarefas separadas, mas também de usar essas diferentes habilidades e combinar conhecimentos existentes para aprender coisas novas, de forma mais rápida e eficiente. Com isso, aquilo que um modelo aprende ao praticar uma tarefa específica – digamos, o uso de imagens aéreas para prever a elevação topográfica de uma região – poderá ajudar esse mesmo modelo a aprender outra coisa – por exemplo, prever como a água vai ocupar aquele terreno em caso de alagamento.

Queremos que os modelos tenham diferentes capacidades, solicitadas sempre que necessário e “costuradas” para realizar tarefas novas e cada vez mais complexas, de uma forma mais próxima ao método usado pelo cérebro dos mamíferos para aprender e realizar atividades.
Os modelos atuais costumam se concentrar em apenas um sentido. O Pathways vai permitir considerar vários sentidos.
Para entender e perceber o mundo, as pessoas usam vários sentidos. Já os sistemas contemporâneos de inteligência artificial digerem informações de um jeito bem diferente. A maioria dos modelos existentes hoje processa apenas uma modalidade de informação por vez. Esses modelos são capazes de trabalhar com texto ou com imagens ou com fala – mas não com os três ao mesmo tempo.

O Pathways poderá permitir modelos multimodais que englobem compreensão de visão, audição e linguagem – tudo ao mesmo tempo. Não importa se o modelo está processando a palavra escrita “onça”, se está processando o som de uma pessoa dizendo a palavra “onça” ou um vídeo de uma onça correndo: a mesma resposta será ativada internamente, ou seja, a compreensão do conceito “onça”. O resultado é um modelo capaz de oferecer mais informações, menos propenso a cometer erros e menos sujeito a vieses e tendências.
Naturalmente, um modelo de inteligência artificial não precisa estar restrito aos sentidos mais conhecidos. O Pathways é capaz de processar formas mais abstratas de dados. Isso ajuda a encontrar padrões úteis, que têm se mostrado muito complexos para cientistas de carne e osso, tais como a dinâmica do clima.

Os modelos de hoje são densos e ineficazes. O Pathways vai deixá-los mais esparsos e eficientes.Um terceiro problema é que os modelos de hoje são “densos”. Isso significa que toda a rede neural é ativada para realizar uma tarefa, não importa se a tarefa é complicada ou simples.

Isso também é muito diferente da forma com que as pessoas enfrentam diferentes atividades. Várias partes do cérebro humano são especializadas em diferentes tarefas, mas o cérebro só solicita a participação das partes relevantes para enfrentar cada situação. Existem quase cem bilhões de neurônios no cérebro humano, mas usamos apenas uma pequena fração disso para interpretar esta frase escrita aqui.

A inteligência artificial pode funcionar da mesma maneira. É possível criar um único modelo que seja ativado de forma mais “esparsa”. Ou seja: apenas pequenas vias (ou “pathways”, em inglês) da rede neural serão requisitadas quando precisarem agir. Na verdade, o modelo pode aprender, de forma dinâmica, quais partes da rede são melhores para desempenhar quais tarefas. O modelo saberia como direcionar as tarefas para as partes ou vias mais relevantes. Esse tipo de arquitetura traria grandes benefícios: ele não apenas é mais capaz de aprender uma ampla gama de tarefas como também é mais rápido e mais econômico no uso de energia, já que não é preciso ativar toda a rede a cada tarefa.Um exemplo: GShard e Switch Transformer são dois dos maiores modelos de aprendizado de máquina que já criamos. E como ambos usam a ativação esparsa, eles consomem menos de um décimo da energia esperada para modelos de tamanho semelhante, mas com arquitetura densa (e são tão precisos quanto). 
********

Recapitulando: os modelos atuais de aprendizado de máquina tendem a se superespecializar em tarefas individuais, quando na verdade poderiam se sair muito bem em diversas atividades. Eles dependem de apenas uma forma de input, quando na verdade poderiam sintetizar várias. E, com frequência, recorrem à força bruta quando o ideal seria recorrer a habilidades e conhecimentos especializados.

Por isso, o Google está construindo o Pathways. O Pathways vai permitir que um único sistema de IA generalize milhares ou milhões de tarefas, compreendendo diferentes tipos de dados – e fará isso com uma eficiência impressionante. Será um salto da era dos modelos com um único propósito, que apenas reconhecem padrões, para a era na qual sistemas mais genéricos e inteligentes serão capazes de refletir uma compreensão profunda do nosso mundo e de se adaptar a novas necessidades.

Este último ponto é fundamental. Já conhecemos muitos grandes desafios mundiais de nossos tempos, e estamos trabalhando em tecnologias que ajudem a enfrentá-los. Mas temos certeza de que existem grandes desafios futuros que ainda nem podemos prever, e muitos vão exigir soluções urgentes. Por isso, de forma extremamente cuidadosa e respeitando nossos Princípios de Inteligência Artificial, estamos criando o sistema de IA da nova geração, capaz de se adaptar rapidamente a novas necessidades e de resolver novos problemas em todo o mundo, à medida que eles forem surgindo, para ajudar a humanidade a aproveitar ao máximo o futuro que temos pela frente.