LLMs e IA generativa são importantes para práticas de MLOps

Artigos / Análise

Necessidades únicas de desenvolvimento de inteligência artificial (IA) geraram práticas de MLOps adaptadas para a construção e implantação de modelos de aprendizado de máquina. Sempre em fluxo, essas práticas podem sofrer mais uma mudança, à medida que a IA generativa e os Grandes Modelos de Linguagem (LLMs) potencializam novas aplicações.

Quando ocorreram avanços anteriores em modelos de aprendizado de máquina (ML), as notícias ficaram confinadas a pequenas comunidades de especialistas em IA. O banco de dados de reconhecimento de objetos Image Net em 2012 e a arquitetura neural Transformer descrita em 2017 pelo Google foram pequenas ondulações na consciência tecnológica.

Não é assim com ChatGPT. Ele causou impacto em todo o mundo quando foi adicionado ao Bing e ao navegador Edge. Os executivos de alto escalão tiveram que perceber que a IA generativa, os LLMs e os modelos básicos pareciam apontar para inovações significativas. A IA generativa indica novas formas de interação com chatbot, somatório e geração de conteúdo, geração de código de software e muito mais.

A consultoria Deloitte afirma que a IA generativa está criando uma onda de disrupção. Até 55% dos entrevistados em uma pesquisa de 2023 da Deloitte/Forbes com 143 CEOs estão avaliando ou experimentando IA generativa.

Entretanto, 79% concordam que a IA generativa aumentará a eficiência e 52% dos inquiridos acreditam que aumentará as oportunidades de crescimento. A Deloitte disse que 37% dos entrevistados já estão implementando IA generativa até certo ponto.

A corrida em direção aos LLMs e a necessidade de ferramentas de desenvolvimento de ML de primeira linha aceleraram as aquisições no espaço de operações de ML. Alguns espectadores também estão começando a distinguir o “espaço LLM Ops”.

Muitos vêem estes tipos de compras como um jogo de aquisição de talentos, destacando as questões de competências que obscurecem as perspectivas da IA ​​generativa.

As equipes agora trabalham para dominar a nova tecnologia tanto nos modos de treinamento quanto de inferência. Os LLMs que estão no centro das inovações da IA ​​generativa exigem arquiteturas de hardware e software em grande escala que suportem a computação distribuída. Os recursos de memória e computação devem ser ajustados para reduzir a latência na interação homem-máquina. Tudo isto rapidamente se traduz em custos que impedem alguns projetos esperançosos.

Além disso, os LLMs alimentam-se de dados de formação prodigiosos, que devem ser curados e governados. A saída do LLM pode ser instável; às vezes, os desenvolvedores contam com engenharia de prompt iterativa, consultando repetidamente o modelo e, em seguida, ponderando a natureza aleatória das respostas à medida que chegam. Ainda assim, desenvolvedores e fornecedores independentes de todos os tamanhos veem caminhos para resolver os problemas.

“Os grandes modelos de linguagem são incríveis no raciocínio de uso geral, mas são extremamente frágeis”, disse Shreya Rajpal, que falou no recente Databricks Data and AI Summit 2023. “É difícil obter resultados corretos de grandes modelos de linguagem.”

“Quando você amplia, não há garantias de que funcionará como você espera”, disse ela aos participantes do Data and AI Summit.

Rajpal é ex-engenheiro sênior de ML da Apple e agora fundador da start-up Guardrails AI, que cria software para garantir melhor a qualidade dos resultados do LLM.

Como os LLMs são aplicados para uso empresarial, onde a correção é crítica, há uma necessidade urgente de validar as informações, de acordo com Rajpal. A validação gira em torno de estruturas e tipos de linguagem, verificações de palavrões ou extensão das respostas e muito mais. Na Guardrails AI, Rajpal busca ferramentas de verificação em uma busca para garantir melhor a qualidade dos resultados do LLM.

A tecnologia de contêineres continua a impulsionar o desenvolvimento automatizado de ML. Eles promovem a colaboração vital entre cientistas de dados e operações. Os desafios únicos dos LLMs exigirão um melhor gerenciamento de contêineres, de acordo com Josh Poduska, cientista-chefe de dados de campo do Domino Data Lab, que aprimorou habilidades analíticas para diversos clientes da Fortune 100 desde sua criação em 2013.

“A ciência de dados hoje é muito baseada em contêineres. No nível empresarial, eles desempenham um papel importante na construção da base de uma plataforma de ciência de dados. Os LLMs exigem um tipo de contêiner diferente do aprendizado de máquina tradicional e isso impõe novos requisitos às estruturas de gerenciamento de contêineres que suportam melhor colaboração, para melhor reprodutibilidade”, indicou.