Laboratório: Executando LLMs Localmente com Ollama

Objetivo do Laboratório

Neste laboratório prático, você aprenderá a configurar e executar modelos de linguagem (LLMs) localmente usando o Ollama. O objetivo é demonstrar como criar um ambiente de IA local utilizando Docker e interagir com o modelo através de um script Python simples.

Ao final deste laboratório, você terá aprendido a:

1. Configurar o Ollama usando Docker Compose para execução local de LLMs.
2. Baixar e executar modelos de linguagem como Gemma, Llama e outros.
3. Criar um script Python para interagir programaticamente com o LLM local.

O que é o Ollama?

O Ollama é uma ferramenta open-source que permite executar modelos de linguagem (LLMs) localmente em sua própria máquina. Vantagens:

• Executar modelos offline: Sem necessidade de conexão com APIs externas.
• Privacidade total: Seus dados nunca saem da sua máquina.
• Custo zero: Após o download, não há custos de API.
• Variedade de modelos: Suporte a diversos modelos como Llama, Gemma, Mistral, CodeLlama...

O Ollama expõe uma API REST na porta 11434, permitindo integração fácil com aplicações Python, scripts de automação e outras ferramentas.

Laboratório

O que você deve fazer:

• Configurar o Ollama usando Docker Compose
• Baixar o modelo gemma3:1b para execução local
• Criar exemplo1.py - script básico para enviar uma mensagem
• Criar exemplo2.py - script interativo (Desafio)

Soluções: Disponíveis na pasta solutions/

• **Tarefa 1: Instalação e Configuração do Ollama

  • Criação do arquivo docker-compose.yml para o Ollama.
  • Download e execução de um modelo de linguagem.
  • Criação de um script Python para interagir com o LLM.

• **Tarefa 2: Script Interativo

  • Crie um script que permita uma conversa interativa com o modelo, onde o usuário pode digitar várias perguntas até decidir sair.

Links e Documentação

Vamos começar!