O seu próprio Chef: como instalar e executar o seu próprio AI LLM

Introdução: O ‘Cérebro’ na Sua Secretária

Se nos últimos dois anos esteve minimamente atento à tecnologia, ouviu falar de “IA”, “ChatGPT”, “Gemini” e o termo que os une: LLM. Mas o que é, exatamente, um LLM? E porque iria querer ter um a ‘viver’ no seu Windows ou Mac, ocupando espaço precioso no disco, em vez de usar as versões polidas que gigantes como a Google ou a OpenAI oferecem na nuvem?

O que é um LLM (Large Language Model)?

Vamos desmistificar isto. Um Modelo de Linguagem de Grande Escala (LLM) não é um cérebro digital consciente. Não “pensa” como um humano, não “entende” emoções e certamente não “sabe” que o chocolate é delicioso.

Pense num LLM como o sistema de “autocomplete” (preenchimento automático) mais sofisticado e sobrealimentado do planeta. É um sistema estatístico. Foi alimentado com uma dieta digital que consiste em, essencialmente, toda a Internet (livros, artigos, fóruns, código, etc.). Através desse treino massivo, ele não aprendeu “conceitos”, mas sim padrões.

Ele tornou-se incrivelmente bom a prever a próxima palavra (ou, mais tecnicamente, o próximo token) numa sequência.

Analogia Rápida: Se eu disser “O céu é…”, o seu cérebro preenche “azul”. Se eu disser “Para fazer um bolo de chocolate, preciso de farinha, ovos e…”, um LLM faz o mesmo, mas a uma escala de triliões de parâmetros, prevendo a sequência de palavras mais provável com base nos dados com que foi treinado.

Quando lhe pede para “escrever um poema sobre um robô triste”, ele não sente tristeza. Ele apenas calcula que, estatisticamente, após a palavra “triste”, palavras como “solitário”, “frio” e “metal” têm uma alta probabilidade de aparecer. É um “papagaio estocástico” de um nível quase mágico.

Modelos como a família Llama (criados pela Meta, empresa-mãe do Facebook) são exemplos de topo destes LLMs.

O Dilema Digital: Vantagens de um LLM Local vs. A Nuvem (Cloud)

Você já usa LLMs na nuvem (Cloud). O ChatGPT, o Gemini (antigo Bard), o Claude, o Copilot da Microsoft. São poderosos, fáceis de usar e (na sua maioria) gratuitos ou com subscrições acessíveis.

Então, porquê o esforço de correr um modelo localmente no seu Mac?

A resposta resume-se a três pilares: Privacidade, Controlo e Custo (ou a falta dele).

1. Privacidade Absoluta:
   • Cloud: Cada prompt que escreve – “como curar esta erupção cutânea?”, “ideias para despedir o meu chefe”, “análise financeira do meu negócio” – é enviado para servidores que não controla. Esses dados são usados para treinar modelos futuros, são revistos por moderadores humanos e, em caso de violação de dados, podem ser expostos.
   • Local: Quando corre um LLM no seu Mac, nada sai da sua máquina. Zero. O prompt é processado pelo seu próprio chip (o seu M1/M2/M3/M4/M5) e a resposta é gerada localmente. Pode analisar documentos confidenciais, escrever o seu diário secreto ou pedir conselhos médicos embaraçosos com a garantia de que ninguém está a ‘espreitar’.
2. Controlo e Experimentação:
   • Cloud: Está a usar um produto ‘filtrado’. As empresas aplicam fortes barreiras de segurança (guardrails) para impedir que o modelo diga coisas ofensivas, ilegais ou controversas.
   • Local: Você está no comando. Pode correr modelos “sem censura” (uncensored) que responderão a qualquer pergunta. Pode ajustar parâmetros técnicos (como a “temperatura”, ou criatividade) que as versões cloud escondem. É o seu playground pessoal.
3. Sem Custos Contínuos e Acesso Offline:
   • Cloud: Os modelos mais potentes (GPT-4, Claude 3 Opus) exigem subscrições mensais. E se a sua Internet falhar, a sua IA “externa” desaparece.
   • Local: É grátis (o software é open-source). O único custo é o hardware que já possui e a eletricidade. E funciona perfeitamente num avião, num café sem Wi-Fi ou no meio do campo.

A Desvantagem? Modelos locais são geralmente menos potentes que os gigantes de biliões de dólares da cloud (embora a diferença esteja a diminuir rapidamente) e exigem algum conhecimento técnico básico para começar. É para isso que serve o resto deste artigo.

Parte 1: O Arsenal – Preparando o Seu Mac

Antes de mais, uma correção importante: você não vai “criar” um LLM do zero. Treinar um modelo como o Llama 3 custa milhões de dólares em hardware e energia.

O que vamos fazer é “correr” (inferência) um LLM pré-treinado na nossa máquina.

Requisitos:

• Um Mac: Idealmente, qualquer Mac com um chip Apple Silicon (M1, M2, M3, M4 ou M5). Estes chips são fantásticos para correr LLMs devido à sua arquitetura de memória unificada (RAM e VRAM partilhadas). Um Mac Intel antigo pode funcionar, mas será dolorosamente lento.
• Espaço em Disco: Os modelos são grandes. Um modelo “pequeno” (como o Llama 3 8B) ocupa cerca de 5GB. Modelos maiores ocupam dezenas de GB.
• RAM: Quanto mais, melhor. 16GB é um ótimo ponto de partida. 8GB funciona para modelos mais pequenos.

A Ferramenta Mágica: Ollama

Esqueça compilar código complexo ou passar dias a configurar ambientes Python. A comunidade criou uma ferramenta brilhante que torna este processo ridiculamente fácil no Mac: Ollama.

Ollama é um runner de LLMs. Ele trata da instalação, gestão de modelos e fornece um servidor local simples para interagir com eles.

Passo 1: Instalar o Ollama

1. Vá ao site oficial: ollama.com
2. Clique no botão de download para macOS.
3. Irá descarregar um ficheiro .dmg. Abra-o e arraste a aplicação Ollama para a sua pasta de Aplicações.
4. Execute a aplicação. Irá ver um pequeno ícone de uma Lhama (Llama) na sua barra de menu. Está instalado.

Passo 2: Abrir o Terminal Sim, vamos ter de usar o Terminal. Não tenha medo. É o “cockpit” do seu Mac. Vá a Aplicações > Utilitários > Terminal e abra-o.

Passo 3: Chamar (Pull) o Modelo Llama 3 O Llama 3 é o modelo mais recente e potente da Meta. O Ollama dá-nos acesso a ele com um comando simples. No Terminal, escreva:

ollama pull llama3

O que acontece agora? O Ollama está a descarregar o Llama 3 (o modelo 8B, ou 8 mil milhões de parâmetros, por defeito) do seu repositório. Isto pode demorar alguns minutos e vai ocupar cerca de 4.7GB.

Passo 4: Correr o Modelo e Iniciar a Conversa Assim que o download terminar, pode falar com ele. Escreva:

ollama run llama3

O seu prompt do Terminal mudará para >>>. É isso. Você está agora a falar diretamente com uma IA de ponta que está a correr inteiramente no seu computador.

Teste com um “Olá! Quem és tu?”. A resposta será gerada localmente. Para sair, escreva /bye.

Parte 2: A Missão Culinária – A Caça ao Bolo de Chocolate

Agora, vamos ao que interessa. Temos um LLM potente, mas ‘cru’, na nossa máquina. Queremos uma receita de bolo de chocolate.

Tentativa 1: O Pedido Preguiçoso

Abra o seu terminal e corra ollama run llama3. Quando aparecer >>>, escreva:

Prompt 1: dá-me uma receita de bolo de chocolate

Resultado Provável: O Llama 3 vai, obedientemente, dar-lhe uma receita. Provavelmente será uma receita padrão americana (copos e colheres), correta, mas sem ‘alma’. Será funcional, mas genérica. Isto acontece porque o seu pedido foi vago.

Tentativa 2: Engenharia de Prompt (O Segredo)

Um LLM não é uma bola de cristal; é um motor de padrões que obedece a instruções. A qualidade da saída (resposta) depende 90% da qualidade da entrada (o seu pedido, ou prompt).

Vamos ser específicos. Vamos usar Engenharia de Prompt.

Vamos recomeçar a sessão (ou apenas continuar na mesma). Desta vez, vamos dar-lhe contexto, uma persona, restrições e um formato de saída.

Prompt 2 (O Bom Prompt): Atua como um chef de pastelaria de renome mundial, com uma paixão por sobremesas ricas e decadentes. O teu público é um cozinheiro amador, por isso sê claro e encorajador.
Preciso da tua *melhor* receita para um bolo de chocolate que seja incrivelmente húmido, denso (quase como um fudge, mas ainda um bolo) e com um sabor profundo a cacau, não demasiado doce.
Por favor, fornece a receita com as seguintes regras: 1. Lista de ingredientes completa, usando medidas métricas (gramas e ml). 2. Instruções passo-a-passo, muito claras. 3. O tempo de cozedura e a temperatura do forno (em Celsius). 4. Um "truque de chef" no final para garantir que o bolo fica perfeito.

Resultado Provável: A resposta será drasticamente diferente. O modelo irá ‘vestir’ a persona (“Ah, mon ami! Com certeza!“). Irá focar-se em “húmido” e “denso”, talvez sugerindo ingredientes como sour cream, iogurte ou café (que realça o chocolate). As medidas estarão em gramas. As instruções serão detalhadas. E o truque de chef? Pode sugerir “não misturar a farinha em excesso” ou “usar cacau de alta qualidade (Dutch-processed)”.

Tentativa 3: Iteração (O Refinamento)

O melhor de ter o LLM local é que ele mantém o contexto (na mesma sessão). Não precisa de começar do zero.

Prompt 3 (Seguimento): Excelente! Mas esqueci-me de dizer: a minha tia é celíaca. Como posso adaptar esta receita para ser sem glúten? Que farinhas recomendas e as proporções mudam?

O Llama 3 (que tem a conversa anterior na sua “memória” de curto prazo) irá agora pegar na receita específica que acabou de lhe dar e modificá-la para as suas novas necessidades, sugerindo misturas de farinha sem glúten (amêndoa, arroz, etc.) e ajustando os líquidos, se necessário.

E tudo isto aconteceu sem que um único byte da sua preferência culinária saísse do seu Mac.

Parte 3: O Lado Sombrio – Riscos, Segurança e Ética

Correr um LLM localmente é fantástico, mas não é um mundo cor-de-rosa. Remove as barreiras de segurança da cloud, o que significa que a responsabilidade passa das empresas (Google, OpenAI) para… você.

1. Alucinações: A IA Mentirosa (e Confiante)

LLMs “alucinam”. Isto é um termo técnico para quando a IA inventa factos, fontes, ou detalhes, mas apresenta-os com uma confiança absoluta.

• No Exemplo do Bolo: O Llama 3 pode “alucinar” uma temperatura de forno errada (250°C em vez de 180°C) ou sugerir 100g de fermento em vez de 10g. O bolo não será apenas mau; será um desastre.
• No Mundo Real: Isto é perigoso quando se pergunta sobre conselhos médicos, legais ou financeiros.
• Moral da História: VERIFIQUE TUDO. Nunca confie cegamente num LLM para informação factual crítica. Use-o para criatividade, rascunhos e sugestões, mas faça a sua própria verificação.

2. Enviesamento (Bias) Sistémico: O Lixo que Entra…

O LLM foi treinado na Internet. A Internet está cheia de preconceitos, estereótipos, racismo e sexismo. O LLM é um espelho disso.

• No Exemplo do Bolo: Se pedir uma “receita de bolo de avó”, o modelo pode assumir estereótipos de género. Se pedir uma “receita de um país exótico”, pode devolver clichés culturais.
• No Mundo Real: Estes preconceitos podem influenciar decisões de contratação (se usado para rever CVs), diagnósticos médicos ou sentenças judiciais (se usado como assistente legal).
• Moral da História: Esteja ciente de que a IA não é “objetiva”. Ela reflete os preconceitos dos dados com que foi alimentada.

3. Segurança: O Cavalo de Tróia Moderno

• O Seu Risco Local: O que acontece se descarregar um modelo (talvez de um site menos reputado que o Ollama) que foi maliciosamente “afinado” (fine-tuned)? Poderia, teoricamente, ser desenhado para procurar ficheiros sensíveis no seu computador ou para lhe dar código malicioso quando pede ajuda para programar.
• A Sua Responsabilidade (Ética): O Llama 3 no Ollama tem algumas barreiras de segurança. Mas existem modelos na internet (modelos “uncensored”) que não têm nenhumas.

4. Ética e Uso Indevido (O Elefante na Sala)

Isto leva-nos ao ponto mais crítico. Um LLM local, sem filtros, é uma ferramenta de “dupla utilização” (dual-use).

• Cloud (ChatGPT): Se pedir ao ChatGPT, “Escreve-me um email de phishing convincente para roubar passwords do Banco X”, ele recusará, citando as suas políticas de segurança.
• Local (Modelo Sem Filtros): Se fizer o mesmo pedido a um modelo local uncensored, ele pode, alegremente, escrever o email perfeito, sugerindo táticas de engenharia social e até criando o código HTML.

A mesma ferramenta que o ajuda a escrever a receita de bolo perfeita pode ser usada por um ator malicioso para gerar desinformação em massa, escrever código para malware, criar planos detalhados para atividades nefastas ou gerar propaganda de ódio.

Quando corre um modelo localmente, está a contornar as (poucas) salvaguardas que a indústria tentou implementar.

Conclusão

Ter um LLM como o Llama 3 a correr no seu Mac é uma experiência libertadora. É um vislumbre de um futuro onde a IA potente é uma ferramenta pessoal, privada e controlada pelo utilizador, e não um serviço alugado a mega-corporações.

É incrivelmente útil para rascunhar emails, programar, resumir textos, traduzir ou, sim, aperfeiçoar receitas.

Mas, como qualquer ferramenta potente – seja um martelo ou um supercomputador – ela não tem moralidade própria. A sua utilidade e o seu perigo dependem inteiramente das mãos que a operam.

Agora, vá fazer esse bolo de chocolate. Mas, por via das dúvidas, verifique a quantidade de sal num livro de receitas a sério.

Pedro Coelho