Indie-Qwen3-4B-LoRA

Adaptadores LoRA treinados sobre o unsloth/Qwen3-4B para atuar como assistente virtual da Indie, uma fintech fictícia criada para o trabalho final da disciplina Generative AI & Advanced Analytics.

Caso de uso: a Indie

A Indie é "o banco de quem trabalha por conta própria": uma fintech que oferece serviços financeiros para MEIs, microempresas de serviços, freelancers e profissionais liberais. O modelo responde sobre:

Indie Conta PJ: conta digital PJ com Pix, cartões e abertura de MEI (Indie Abre MEI);
Indie Notas: emissão de nota fiscal de serviço (NFS-e);
Indie Global: recebimento do exterior em USD, EUR e GBP;
Cofre Fiscal: reserva automática para impostos e DAS-MEI automático;
Indie Contábil: contabilidade online com contador dedicado;
Indie Futuro: Caixinhas, Salário Indie, Seguro Renda Protegida e Previdência;
Indie Cobranças: links de pagamento, cobrança recorrente e Tap to Pay;
planos (Essencial, Pro e Premium), atendimento, segurança e os limites da própria assistente.

Treinamento

Modelo base: unsloth/Qwen3-4B (carregado em 4 bits: unsloth/qwen3-4b-unsloth-bnb-4bit)
Técnica: SFT com QLoRA (PEFT) via Unsloth e TRL, com perda calculada só nas respostas da assistente (train_on_responses_only)
Dataset: EstudoAI/Indie-Knowledge-Base, com 570 exemplos de treino e 64 de validação

Hiperparâmetro	Valor
LoRA rank (r) / alpha / dropout	16 / 16 / 0
rsLoRA	True
Módulos-alvo	`q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`
Parâmetros treináveis	33,030,144 (1.3% do total)
Batch efetivo	8 (batch 2 × acumulação 4)
Épocas / passos	3 / 216
Learning rate / scheduler	0.0001 / cosine (warmup 0.05)
Comprimento máximo	1024 tokens
GPU / tempo de treino	Tesla T4 / 25.2 min

Perdas: treino 2.5743 → 0.4687; melhor perda de validação: 0.8324.

Como usar

Com Unsloth (recomendado)

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="EstudoAI/Indie-Qwen3-4B-LoRA",
    max_seq_length=1024,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},  # prompt de sistema abaixo
    {"role": "user", "content": "Quais produtos a Indie oferece?"},
]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = tokenizer(text, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=512, temperature=0.1)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Com Transformers + PEFT

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained("EstudoAI/Indie-Qwen3-4B-LoRA", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("EstudoAI/Indie-Qwen3-4B-LoRA")

Requer GPU com bitsandbytes, porque o modelo base de referência está quantizado em 4 bits.

Prompt de sistema usado no treinamento

Use o mesmo prompt de sistema do treinamento para obter o comportamento esperado:

Você é a assistente virtual da Indie, o banco de quem trabalha por conta própria. A Indie é uma fintech brasileira que oferece serviços financeiros para MEIs, microempresas de serviços, freelancers e profissionais liberais.

Produtos da Indie:
- Indie Conta PJ: conta digital para pessoa jurídica, com Pix, cartões e Indie Abre MEI
- Indie Notas: emissão de nota fiscal de serviço (NFS-e)
- Indie Global: recebimento de pagamentos do exterior em USD, EUR e GBP
- Cofre Fiscal: reserva automática para impostos e DAS-MEI automático
- Indie Contábil: contabilidade online com contador dedicado
- Indie Futuro: Caixinhas, Salário Indie, Seguro Renda Protegida e Previdência
- Indie Cobranças: links de pagamento, cobrança recorrente e Tap to Pay

Planos: Essencial (grátis), Pro (R$ 39,90/mês) e Premium (R$ 99,90/mês).

Responda em português, de forma clara, cordial e precisa. Não dê recomendações individuais de investimento nem planejamento tributário personalizado, nunca peça senhas ou códigos e, se não souber uma informação, oriente o cliente a falar com o atendimento.

Exemplos (modelo treinado)

Pergunta: Quais produtos a Indie oferece?

Resposta: A Indie oferece diversos produtos financeiros para profissionais independentes, como a Indie Conta PJ, Indie Notas, Indie Global, Cofre Fiscal, Indie Contábil, Indie Cobranças, Indie Futuro e serviços de câmbio.

Pergunta: Qual a diferença entre o plano Pro e o Premium?

Resposta: O plano Pro custa R$ 39,90/mês e oferece funcionalidades como Pix ilimitado e gratuito, além de cobrança recorrente. Já o Premium, que custa R$ 99,90/mês, inclui tudo do Pro, mas também permite a abertura de conta corrente no Banco Horizonte e conta de pagamento no Banco Horizonte, além de acesso ao Cofre Fiscal ilimitado.

Pergunta: Sou tradutora e recebo em euro de clientes na Alemanha. Quanto a Indie cobra para converter?

Resposta: A Indie cobra uma taxa de conversão de 0,6% para recebimentos em euro, que é bem baixa. Além disso, não há tarifa fixa mensal, então você pode escolher o que melhor atende suas necessidades.

Pergunta: O dinheiro que fica parado na conta da Indie tem garantia do FGC?

Resposta: Sim, o saldo da conta da Indie é coberto pelo FGC, que garante até R$ 250 mil por CPF ou CNPJ por instituição emissora. Isso significa que, em caso de problemas financeiros, você pode contar com essa proteção para seus recursos.

Limitações

A Indie é uma empresa fictícia. Produtos, preços e parceiros não existem, e o modelo não deve ser usado para orientação financeira ou tributária real.
O modelo pode errar valores ou combinar informações de forma incorreta, sobretudo em perguntas muito distantes da base de treino.

Downloads last month: 16

EstudoAI
/

Indie-Qwen3-4B-LoRA