Bruxelas fecha acordo histórico com o Mercosul para subir exportações em 40%

[MarcoAntonio]

Claro que nao pensa, mas os LLMs em alguns aspectos emulam pensamento humano...

Emular uma PS nao é jogar na PS mas é como fosse o mesmo embora usando outro hardware. O resultado nao é exactamente o mesmo mas é aproximadamente o mesmo.

Um breve apontamento, talvez isto ajude um pouco na discussão...

Emular é um termo muito forte neste contexto. A esse propósito, eu usei o termo atrás mas coloquei entre aspas, não queria dizer emular no sentido da analogia acima, que diz respeito a correr o mesmo código (algoritmo) num hardware diferente. Um LLM não corre o mesmo algoritmo num hardware diferente, nós sabemos que a natureza dos processos é diferente: (i) as redes neuronais artificiais são vagamente inspiradas nas estruturas biológicas, mas não operam da mesma forma, sabemos bem isso; (ii) além disso, sabemos também que os processos em si não são os mesmos. Muito embora haja ainda bastante que desconhecemos sobre o funcionamento dos nossos cérebros, sabemos o suficiente sobre eles e sobre as redes neuronais artificiais para percebermos que os processos são distintos. Além de serem distintos, a pipeline é marcadamente diferente também, remeto de novo para o meu post atrás onde assinalo que o processo está, em larga medida, invertido: o core (núcleo) do processo num LLM é um modelo linguístico, a aparência de inteligência ou raciocínio emerge da linguagem; nos humanos, a linguagem emerge da inteligência e dos processos cognitivos/mentais, é uma invenção nossa (ainda que se possa alegar que acabe por influenciar a forma como actuamos intelectualmente). 

Ontologicamente, os processos são portanto diferentes. Há uma aparência de processo semelhante mas é superficial.

Há no entanto uma discussão corrente se não será possível, em termos funcionais, os processos se equipararem. Dito de outra forma, atingir um fim semelhante (uma forma alternativa de inteligência) através de um processo diferente, através de mecanismos processuais alternativos. Mas não chegamos lá, isto parece-me relativamente pacífico no contexto actual. O que há é grosso modo duas escolas de pensamento, uma funcional/pragmática e outra fenomenológica/ontológica. Pessoalmente, inclino mais para a segunda (ainda que sem certezas absolutas), e suspeito que a consciência é um elemento importante para aquilo que denominamos de inteligência (talvez as máquinas precisem de atingir o estágio em que elas próprias são entidades conscientes, pois essa poderá ser a "cola" que dá a coesão e a persistência característica do processo inteligente em si).

Mas, enfim, não me queria alongar muito agora. Quero apenas indicar que estou convencido de que há limitações processuais importantes na tecnologia actual e que as limitações/falhas que o bear está a apontar têm raiz quer em limitações práticas de recursos e de maturação da tecnologia, quer em aspectos mais fundamentais da arquitectura dos modelos (conforme já tinha exposto mais atrás).

[Rolling_Trader]

Xiça outra vez com isto.

Claro que nao pensa, mas os LLMs em alguns aspectos emulam pensamento humano...

Não, uma LLM nem sequer emula o pensamento humano. O ser humano não escreve escolhendo as palavras com base em probabilidades.

Se o resultado final é algo parecido ao que um humano escreveria isso em nada tem a ver com a forma como se chega lá, que em nada é parecido ao pensamento humano.

Aqui paper que relata justamente os problemas dos long contexts que mesmo longos continuam a nao ser suficientemente longos para substituir determinados profissionais em escala na minha opiniao.

Aqui posso parafrasea-lo e dizer "Xiça outra vez com isto.".

O paper que citou não diz que as janelas de contexto não são "suficientemente longos", disserta sim sobre a degradação da eficácia da obtenção dos documentos relevantes numa janela de contexto longa, são coisas diferentes. (para além disso o paper é antigo, ainda do tempo do GPT 3.5, e ignora as mais recentes arquiteturas RWKV e Hyena, orientadas para terem uma melhor performance sobre contextos mais longos).

Novamente, ao "atirar" 50 documentos para uma janela de contexto, a LLM "simplesmente" divide-os em tokens e distribui pesos durante o processo de inferência. Isso vai obviamente limitar a precisão da resposta quando comparada ao treino ou fine-tuning prévio de um modelo sobre esses mesmos documentos.

Mas desisto de lhe tentar explicar as complexidades das arquiteturas envolvidas dado que você, mesmo com um documento de research à frente, tira uma conclusão diametralmente oposta à da publicada no paper.

[BearManBull]

É aqui que eu julgo que ainda há bastante para / por explorar, nomeadamente na engenharia dos sistemas, para vermos realmente o impacto real da tecnologia as is (isto é, mesmo que o desempenho da AI, sem mudar significativamente a arquitectura ou paradigma, não avance muito do ponto em que estamos agora).

Concordo, um agente orquestrador que actuaria como cola entre passos pode ser uma alternativa. Divide to conquer.

Por enquanto, bigger/better tem sido o foco da Google, OpenAI e companhia (o GPT5 talvez tenha já dado um quê de mudança de direcção) mas, mesmo que os principais players se foquem na capacidade bruta dos modelos, há o potencial para o resto do ecossistema para tentar retirar o melhor partido dos modelos existentes (como por exemplo, aplicações especializadas).

Esse foco tem vindo a ser demonstado que nao está a dar frutos.

[BearManBull]

Novamente reitero, isto não é pensamento, uma LLM não pensa!

Xiça outra vez com isto.

Claro que nao pensa, mas os LLMs em alguns aspectos emulam pensamento humano...

Emular uma PS nao é jogar na PS mas é como fosse o mesmo embora usando outro hardware. O resultado nao é exactamente o mesmo mas é aproximadamente o mesmo.

Daí ter usado italico nalgumas expressoes.

Aqui paper que relata justamente os problemas dos long contexts que mesmo longos continuam a nao ser suficientemente longos para substituir determinados profissionais em escala na minha opiniao.

Repara que para substituir um advogado num processo o LLM teria de ser capaz de manter o mesmo contexto (sem perdas) que o advogado mantem do caso do inicio o fim com toda a info desde o inicio ao fim do processo.

Lost in the Middle: How Language Models Use Long Contexts

[MarcoAntonio]

Já com uma base jeitosa, o GPT-5 não se conseguiu impor à frente (e bate marginalmente apenas o o3) em blind tests no LMArena.

Tem um bom desempenho em código, ficando ligeiramente à frente do Claude Opus 4.1 (os modelos da Anthropic têm estado entre os favoritos para developers e, como mencionei no tópico da Meta, consta que a própria Meta está a adopta-los internamente).

Entretanto, espera-se o Gemini 3.0 da Google ainda para este ano...



Para tarefas visuais (computer vision e geração de imagem). Aqui o Grok não aparece sequer, talvez não esteja incluído na pool se a tarefa envolver geração de imagens:

[MarcoAntonio]

Creio que aqui o pressuposto tem sido o de utilizar o ChatGPT vanilla (ou outro LLM). Mas, para tarefas mais especializadas, orientadas a um objectivo mais específico, essa não vai ser por certo a melhor utilização do ChatGPT/LLM. A minha experiência na área jurídica é limitada (virtualmente inexistente), mas se me pedissem para “resolver” este problema, aquilo que me virá à cabeça mais imediatamente é criar um wrapper, com um ambiente ad hoc para o efeito, que aceda ao LLM via API (ou, se estiver disponível, um LLM local, eventualmente um "expert" para a tarefa em mãos). O wrapper poderia permitir manter a estratégia separada dos conteúdos materiais, e inclusivamente os documentos poderiam estar acessíveis separadamente para que o “assistente jurídico” aceda a cada um deles especificamente sempre que necessário. Algo dentro disto. Poderia ainda dispor de uma espécie de Constitutional AI, por forma a operar dentro dos parâmetros desejados para a tarefa também (nomeadamente, regras a cumprir no contexto jurídico, etc). Enfim, decompor a tarefa de desenvolver um (e avançar com o) processo judicial, de forma estruturada para o “assistente”, a correr sobre o LLM e com human-in-the-loop.

Isto para dizer que os limites da tecnologia não são necessariamente os que podem emergir facilmente numa utilização da versão vanilla, que foi fine-tuned para conversas e não, sei lá, para assistir num processo judicial.


É aqui que eu julgo que ainda há bastante para / por explorar, nomeadamente na engenharia dos sistemas, para vermos realmente o impacto real da tecnologia as is (isto é, mesmo que o desempenho da AI, sem mudar significativamente a arquitectura ou paradigma, não avance muito do ponto em que estamos agora).

Por enquanto, bigger/better tem sido o foco da Google, OpenAI e companhia (o GPT5 talvez tenha já dado um quê de mudança de direcção) mas, mesmo que os principais players se foquem na capacidade bruta dos modelos, há o potencial para o resto do ecossistema para tentar retirar o melhor partido dos modelos existentes (como por exemplo, aplicações especializadas).

[Rolling_Trader]

Distinguir trigo do joio é uma capacidade que têm neste momento altamente desenvolvida para prompts curtos.

A expressão "Distinguir o trigo do joio" significa discernimento e julgamento, características intrínsecas do pensamento.
Uma LLM, por definição, opera com base em padrões estatísticos e na probabilidade de uma palavra ou frase seguir outra, portanto não pensa, logo esta sua afirmação está tecnicamente incorreta

Algo que faz falta sao cadeias de raciociinio (context window amplas)

Tal como o MarcoAntonio referiu, cadeia de raciocínio (Chain of Thought, ou CoT para abreviar) não é equivalente a context window, são dois conceitos separados.

O Chain of Thought exercido automaticamente pelos "Reasoning Models" atuais é conseguido através da modificação interna da prompt do utilizador para forçar a LLM, antes de dar a resposta final, a definir uma estratégia de pensamento que decomponha o problema. Essa pensamento é adicionado à janela de contexto e alimentará depois a resposta final da IA fazendo uma otimização probabilística da resposta para ser mais correta do que se esta etapa não fosse efetuada.

Novamente reitero, isto não é pensamento, uma LLM não pensa! Não é aumentando a context window que se vai mudar este facto intrínseco à arquitetura das LLM.

Quando a rede está treinada com os materiais necessários consegue-se uma boa matriz.

Exatamente. É aí que a verdadeira vantagem das LLM se evidencia, se os dados de treino (ou fornecidos por si) forem irrepreensíveis e completos e o "fine tuning" dos parâmetros e pesos da LLM se adequar à finalidade que você pretende, então as respostas são fantásticas.

Mas o que é que isso tem a ver com limitações à janela de contexto? Nada!

No geral com LLMs consegue-se fazer um pouco de tudo grao a grao mas nao o todo.

Com uma LLM, com o devido fine tuning, com contexto factualmente correto, sem imprecisões ou contradições as LLM continuam a ser extremamente eficazes, podendo haver alguma degradação na qualidade das respostas à medida que se vai atingindo o limite da context window.

Agora, uma LLM é um modelo que processa tokens de liguagem natural, se lhe der contexto na forma de imagens, audio, ou vídeo são necessárias ferramentas adicionais para "fazer a ponte" entre os modelos visuais ou de áudio para linguagem natural e pode-se efetivamente ter uma degradação da qualidade da informação de contexto.

Mas lá está isso acontece porque a LLM não pensa, usa dados de treino e dados de contexto para dar respostas probabilísticas, se os dados estiverem errados ou incoerentes não espere milagres.

A arquitetura das LLM funciona tão bem quanto a qualidade dos dados de treino ou de contexto.

E o que é que tudo isto tem a ver com o tamanho da janela de contexto? Nada.

Estao a falar de tokens, como se fossem pre cozinhados para ser consumidos pelo LLM e nao de informaçao difusa como é a realidade....

Na realidade é mesmo assim que as LLM funcionam, os tokens de treino já estão "pré cozinhados" (usando a sua expressão coloquial), otimizados nos parâmetros e respetivos pesos que compõem o modelo.

Já os dados de contexto que você lhe dá (na forma de texto livre, documentos ou imagens) são "cozinhados" pela própria LLM, mais tecnicamente serão convertidos em vetores e posteriormente acedidos via RAG (Retrieval Augmented Generation), no entanto a importância dada pela LLM a cada documento que você colocou no contexto é efetuado através da decisões da rede neuronal subjacente, ou seja sofrem, logo à partida, uma deturpação na medida em que não são validados por um ser humano, nem sujeitos a um criterioso processo de "fine tuning".

Com base nesta explicação, devia ficar claro para si que o problema não é a quantidade dos documentos de contexto, mas sim o facto de você delegar na LLM (um algoritmo não pensante) a responsabilidade de os usar da melhor forma.

Não espere milagres, é uma limitação arquitetural!

Se quer uma LLM à medida, treine uma e faça-lhe fine tuning

já estou farto de dizer o ChatGPT nao come 50 PTTs e 100 Words que funcona bem com prompts atomicos mas que nao consegue digerir informaçao massiva de entrada.

Se os "50 PPTs" e os "100 Words" conseguirem ser linearmente convertidos em tokens de texto, se não tiverem informação errada ou incoerente entre si e não sejam factualmente incorretos ou incompatíveis com os dados de treino do "ChatGPT", então essa informação massiva será corretamente processada, desde que a sua prompt seja a mais indicada para obter a resposta que você pretende.

Num contexto massivo de informação, mesmo que correto, dada a arquitetura das LLM que já foi aqui explicada e re-explicada tanto por mim como pelo MarcoAntonio, é virtualmente impossível você fazer uma prompt eficaz para um objetivo final tão simples como "faz uma defesa eficaz para o José Sócrates com base nestas 10 toneladas de documentos do processo Marquês".

O facto de nem você, nem ninguém, conseguir fazer uma prompt eficaz para tal objetivo dantesco reside no simples facto de que, os dados de contexto (i.e. os documentos) não são dados de treino, ou seja, não foram revistos por seres humanos para validar a sua veracidade e consistência e mais importante não foram fine-tuned para servir o propósito que você pretende.

Portanto, é da sua responsabilidade, na sua prompt, direcionar a LLM a usar os documentos mais corretos durante o seu Chain of Thought, caso contrário a LLM irá fazer assunções erradas, escolhendo as probabilidades dos tokens da resposta com base nos embedings que "decidiu" serem os mais corretos.

É por isso que você constatou que prompts mais precisas, para tarefas mais curtas são mais eficazes.

A melhor analogia que posso fazer é a seguinte:

Imagine um estagiário de direito, saído da faculdade.

Você dá-lhe todo o processo Marquês para as mãos e pede-lhe para "fazer uma defesa efetiva para José Sócrates".
Ora o estagiário pode ter tido 20 valores a todas as cadeiras, ter toda a legislação portuguesa memorizada, todos os livros de direito e procedimentos memorizados e ser um verdadeiro robot.

Mas, pergunto-lhe, qual seria a sua estratégia, enquanto advogado de defesa sénior, para treinar um júnior por muito bom que ele fosse?


1. Gastava duas horas a explicar passo a passo ao estagiário sobre como você montaria uma defesa (e esperaria, por milagre, que o estagiário produzisse algo de jeito), ou

2. Sentava-se ao lado do estagiário e ia orientando o mesmo, passo a passo e validando tudo o que ele faz, em cada fase deste processo intelectual?

O cerne da questão é que montar uma defesa é um processo intelectual, não é algo que possa ser mecanizado.

Você tem mais sucesso em prompts pequenas com as LLM porque está a adotar a opção 2 (a mais lógica). Você é o sénior, que sabe pensar, e está a a instruir o júnior, passo a passo, a dar-lhe tarefas pequenas que sabe que ele consegue fazer (enquanto aluno de direito), mas quem está em controlo do pensamento é você.

Portanto o problema reside no facto de que "As LLM não pensam" (por definição arquitetural) e não no facto de "As LLM não conseguem gerir grandes contextos de informação"

[MarcoAntonio]

Ok, mas mesmo que estejas a correr um LLM remoto, a janela de contexto é um budget mais ou menos fixo (corres o risco de encher a janela mais rapidamente e a partir daí o desempenho do modelo degrada-se mais depressa, expectavelmente). Claro que isto só é realmente importante se estiveres com um projecto (relativamente) grande em mãos, tipo uma conversa/interação que se arrasta.

[Rolling_Trader]

Penso que esta estimativa estará até algo por baixo. Um token tipicamente ronda 0.75 palavras (~1.3 tokens por palavra) em inglês. Como o "Os Maias" tem na ordem de 218 mil palavras (varia conforme a edição), isto dará na ordem de 290K tokens. 1M daria para cobrir cerca de 3.5 vezes "Os Maias" completo. No entanto, isto é utilizando o rácio no inglês (de qq das formas serve para uma ideia geral).

Sim, é possível, foi uma simplificação que fiz, com base até nas próprias métricas publicadas na página oficial, sobre "long context" do Gemini.

Provavelmente o tamanho de cada token até pode ser dependente da implementação de cada modelo, nunca investiguei a fundo esses pormenores.

Já agora, tendo a privilegiar largamente a interação com os LLM em inglês por várias razões e uma delas está conectada precisamente com isto (no geral resumem-se ao mesmo, expectativa de melhor desempenho): o português (assim como outras línguas) tende a precisar de mais tokens que o inglês; mais razões: o inglês permite linguagem mais precisa/inequivoca em certas áreas, especialmente técnicas, além dos modelos LLM tenderem a demonstrar, empiricamente, melhor desempenho com o inglês (para começar, são treinados com um corpora muito mais vasto em inglês).

Sim, por vezes também uso prompts exclusivamente em inglês quando quero dar primazia aos dados de treino do modelo. Efetivamente, apesar da maioria das LLM ser multilingue e ter dados de treino nas várias línguas suportadas, o que é facto é que, sendo o inglês uma das línguas mais faladas no mundo, a quantidade de informação escrita, pública na web, que pode serviu de base para treino é grotescamente maior do que a conseguimos encontrar em português.

No entanto, uso português se estiver a fazer RAG sobre documentos escritos na nossa língua claro.

Quanto ao léxico inglês requerer menos tokens que o Português, nem me tinha lembrado disso, mas é um facto sim. Aumentará a velocidade de inferência e poupará espaço na janela de contexto, mas, a menos que esteja a correr uma LLM local, não é algo com que esteja muito preocupado... a "fatura" não sou eu que a pago

[previsor]

https://www.facebook.com/share/r/1CXzKS ... tid=wwXIfr

[MarcoAntonio]

Estao a falar de tokens, como se fossem pre cozinhados para ser consumidos pelo LLM e nao de informaçao difusa como é a realidade....

Aparentemente, estás agora a remeter precisamente para o que eu cobri num post mais atrás (se é que estou a entender o que estás a querer dizer). Ou queres transmitir algo fundamentalmente diferente do que eu expus aqui?

Os tokens não são nem "pré-cozinhados" nem "informação difusa" como é a realidade, são apenas a unidade técnica que o modelo usa para representar (ler, escrever e processar) texto. No texto que estavas a comentar, foi discutido enquanto métrica para medir o que caberá na janela de contexto para um documento concreto (por exemplo, um livro). Recorrendo a uma analogia, podemos falar de tokens na janela de contexto como bytes numa RAM.

Bem novamente o mesmo.

Tenho um caso em tribunal tenho 50 documentos para que o GPT ler e gerar uma defesa um dos grandes problemas é incapacidade de ler esses 50 documentos, justamente por falta de context window.

Qual é a dimensão do conjunto desses 50 documentos (em palavras), por exemplo, consegues estimar? E se houver outro tipo de informação para lá de texto, também precisa de ser quantificado.

O GTP é capaz de ler diagramas e imagens individuais mas quando é parte de um todo complexo nao.

Isto já não é bem verdade, não com as versões mais recentes do GPT, que são multimodais, que processam e mantêm na janela de contexto informação proveniente de diferentes fontes (texto e imagens). Existe um limite quantitativo (a dimensão da janela de contexto) e que podemos estimar (ie, verificar se a quantidade de materiais cabe ou não na janela de contexto). Mas alegar que o GPT não consegue ler diagramas e imagens individuais como parte de um todo complexo, já não é bem o que se passa actualmente com os modelos superiores e multimodais já disponíveis.

Agora, para lá das limitações quantitativas (capacidade de armazenamento em termos de janela de contexto) que possam existir, existem limitações qualitatitvas, que derivam da arquitectura dos modelos (limitações processuais, para não dizer mesmo fenomenológicas se quisermos p.e. discutir o que é verdadeira inteligência, mas isso remete-nos para o post que eu já coloquei mais atrás).



Não é claro para mim ainda o que estás querer transmitir exactamente. Por exemplo, qual é exactamente a natureza da limitação ou limitações e porque é que dizes que não é preciso uma AGI para organizar uma estratégia num caso judicial grande e depois apontas para o que parece ser a degradação quando o modelo tenta lidar com tarefas complexas (tarefas iterativas, diferentes tipos de informação, mapeamento correcto com a realidade, etc).

[BearManBull]

Não consigo entender o que estás a escrever / querer transmitir.

Bem novamente o mesmo.

Tenho um caso em tribunal tenho 50 documentos para que o GPT ler e gerar uma defesa um dos grandes problemas é incapacidade de ler esses 50 documentos, justamente por falta de context window.

Novamente a realidade nao se limita a palavras existem diagramas, imagens.

O GTP é capaz de ler diagramas e imagens individuais mas quando é parte de um todo complexo nao.

[BearManBull]

Para contextualizar, 1500 páginas são 2 cópias integrais dos "Maias" de Eça de Queiroz, um dos livros mais extensos da literatura portuguesa, com 720 páginas. Se quiser pegar noutras obras mais pequenas do Eça, equivale a mais de 4 cópias de "As Pupilas do Senhor Reitor" e a mais de 7 cópias do "Amor de Perdição".

Penso que esta estimativa estará até algo por baixo. Um token tipicamente ronda 0.75 palavras (~1.3 tokens por palavra) em inglês. Como o "Os Maias" tem na ordem de 218 mil palavras (varia conforme a edição), isto dará na ordem de 290K tokens. 1M daria para cobrir cerca de 3.5 vezes "Os Maias" completo. No entanto, isto é utilizando o rácio no inglês (de qq das formas serve para uma ideia geral).

Já agora, tendo a privilegiar largamente a interação com os LLM em inglês por várias razões e uma delas está conectada precisamente com isto (no geral resumem-se ao mesmo, expectativa de melhor desempenho): o português (assim como outras línguas) tende a precisar de mais tokens que o inglês; mais razões: o inglês permite linguagem mais precisa/inequivoca em certas áreas, especialmente técnicas, além dos modelos LLM tenderem a demonstrar, empiricamente, melhor desempenho com o inglês (para começar, são treinados com um corpora muito mais vasto em inglês).

Estao a falar de tokens, como se fossem pre cozinhados para ser consumidos pelo LLM e nao de informaçao difusa como é a realidade....

[MarcoAntonio]

Não consigo entender o que estás a escrever / querer transmitir.

[BearManBull]

Vamos lá ver: janela de contexto (ampla) é uma questão de recursos do sistema, não de processo. Ao utilizar uma janela de contexto grande/enorme, não estás a mudar nada no processo (como o modelo “raciocina”); apenas a aumentar a quantidade de informação que entra/é mantida na janela de contexto.

Mas se é isso que estou a dizer.

Outra vez o mesmo que já estou farto de dizer o ChatGPT nao come 50 PTTs e 100 Words que funcona bem com prompts atomicos mas que nao consegue digerir informaçao massiva de entrada.

[MarcoAntonio]

Para contextualizar, 1500 páginas são 2 cópias integrais dos "Maias" de Eça de Queiroz, um dos livros mais extensos da literatura portuguesa, com 720 páginas. Se quiser pegar noutras obras mais pequenas do Eça, equivale a mais de 4 cópias de "As Pupilas do Senhor Reitor" e a mais de 7 cópias do "Amor de Perdição".

Penso que esta estimativa estará até algo por baixo. Um token tipicamente ronda 0.75 palavras (~1.3 tokens por palavra) em inglês. Como o "Os Maias" tem na ordem de 218 mil palavras (varia conforme a edição), isto dará na ordem de 290K tokens. 1M daria para cobrir cerca de 3.5 vezes "Os Maias" completo. No entanto, isto é utilizando o rácio no inglês (de qq das formas serve para uma ideia geral).

Já agora, tendo a privilegiar largamente a interação com os LLM em inglês por várias razões e uma delas está conectada precisamente com isto (no geral resumem-se ao mesmo, expectativa de melhor desempenho): o português (assim como outras línguas) tende a precisar de mais tokens que o inglês; mais razões: o inglês permite linguagem mais precisa/inequivoca em certas áreas, especialmente técnicas, além dos modelos LLM tenderem a demonstrar, empiricamente, melhor desempenho com o inglês (para começar, são treinados com um corpora muito mais vasto em inglês).

[MarcoAntonio]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

Refiro-me á soma das partes.

No geral com LLMs consegue-se fazer um pouco de tudo grao a grao mas nao o todo.

Vamos lá ver: janela de contexto (ampla) é uma questão de recursos do sistema, não de processo. Ao utilizar uma janela de contexto grande/enorme, não estás a mudar nada no processo (como o modelo “raciocina”); apenas a aumentar a quantidade de informação que entra/é mantida na janela de contexto.

No caso da utilização de CoT, podem-se usar janelas maiores (é comum em modelos atuais, pe GPT5), provavelmente porque decompor a geração da completion em várias fases tende a exigir manter um contexto maior e mais detalhado.

Mas parece-me importante distinguir bem o que é a janela de contexto do que é o processo/técnica de reasoning em si.

[BearManBull]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

Refiro-me á soma das partes.

No geral com LLMs consegue-se fazer um pouco de tudo grao a grao mas nao o todo.

[BearManBull]

Quando a rede está treinada com os materiais necessários consegue-se uma boa matriz.

Tribunal Judicial da Comarca de ________

Juízo Central Criminal – Juiz ___

Processo n.º ____

Arguido: Josef K.

REQUERIMENTO DE NULIDADE DO PROCESSO E ABSOLVIÇÃO

Ex.mo Senhor Juiz,

Josef K., arguido nos autos à margem referidos, por intermédio do seu advogado, vem, nos termos e para os efeitos legais, apresentar o presente Requerimento de Nulidade e Absolvição, com base nos seguintes:

I – FACTOS PROVADOS (COM BASE NA OBRA "O PROCESSO", DE FRANZ KAFKA)

O arguido foi detido no seu domicílio por agentes desconhecidos sem mandado judicial nem explicação sobre a acusação (“Alguém havia de caluniar Josef K., pois uma manhã, sem ter feito nada de mal, foi detido.”).

Durante a detenção, não lhe foram comunicados os factos imputados nem a natureza do crime (“Não sabemos qual é a acusação. Não nos compete dizê-lo.” – agentes da detenção).

O arguido não teve acesso a qualquer acusação escrita nem a elementos probatórios, sendo instruído apenas a comparecer num local indefinido e clandestino.

As audiências foram realizadas em espaços improvisados e secretos, sem juiz identificado e sem publicidade do ato (“O tribunal estava num sótão abafado, entre roupas e trapos, sem qualquer solenidade.”).

Não lhe foi permitido contraditório eficaz nem defesa adequada, uma vez que nem o próprio advogado tinha acesso aos autos ou conhecimento dos factos (“Os advogados pouco ou nada podem fazer; tudo se decide em esferas superiores e invisíveis.”).

O processo desenrolou-se sem prazo, em total indefinição temporal e material, mantendo o arguido em permanente insegurança jurídica (“O processo nunca avança, nunca termina; é como um peso que se carrega sem saber porquê.”).

II – ENQUADRAMENTO JURÍDICO

Constituição da República Portuguesa (CRP):

Artigo 27.º, n.º 1 – “Todos têm direito à liberdade e à segurança.”

Artigo 28.º, n.º 1 – “Ninguém pode ser detido ou preso senão nos casos previstos na lei e por autoridade judicial competente.”

Artigo 32.º, n.º 1 e 5 – “O processo criminal assegura todas as garantias de defesa (...). O arguido tem direito a ser informado da acusação.”

Código de Processo Penal (CPP):

Artigo 61.º, n.º 1, al. b) – “O arguido tem direito a ser informado dos factos que lhe são imputados.”

Artigo 283.º, n.º 3 – “A acusação deve conter a identificação do arguido e a descrição (...) dos factos imputados.”

Convenção Europeia dos Direitos Humanos (CEDH):

Artigo 6.º, n.º 1 e 3, al. a) – “Todo o arguido tem direito a ser informado, no mais curto prazo, da natureza e da causa da acusação.”

III – FUNDAMENTAÇÃO

O processo descrito carece de qualquer validade jurídica no ordenamento português porque:

Não houve acusação formal nem comunicação dos factos, violando art. 32.º CRP e art. 61.º CPP.

O arguido foi detido arbitrariamente, sem mandado nem competência, contrariando art. 27.º e 28.º CRP e art. 6.º CEDH.

Não foi assegurado contraditório nem defesa efetiva, ferindo o princípio do Estado de Direito e a dignidade humana.

(Opcional filosófico) Como diria Hannah Arendt, a banalização da arbitrariedade destrói a essência do Direito, convertendo o processo num instrumento de poder e não de justiça.

IV – PEDIDO

Nestes termos, requer-se a V. Exa.:

Seja declarada a nulidade absoluta do processo, por violação das garantias constitucionais, processuais e internacionais;

Seja o arguido Josef K. imediatamente absolvido e restituído à liberdade, com extinção de todos os efeitos processuais;

Seja determinada a comunicação desta decisão às instâncias competentes para registo da ilegalidade, de modo a prevenir abusos futuros.

Termos em que,
Pede deferimento.

Local e Data: ________

O Advogado,

[MarcoAntonio]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

[BearManBull]

Até se pode pedir algo mais, mas á medida que se tenta esmiuçar o amigo, perde-se...

Constituição da República Portuguesa (CRP)

Artigo 1.º – Princípio da Dignidade da Pessoa Humana
A dignidade é inviolável e deve ser respeitada pelo Estado e pelas instituições.
→ A ausência de acusação clara e o tratamento arbitrário violam esse princípio.

Artigo 13.º – Princípio da Igualdade
Todos são iguais perante a lei, sem discriminação.
→ O processo secreto cria discriminação e arbitrariedade.

Artigo 27.º – Direito à Liberdade e Segurança
Ninguém pode ser privado da liberdade sem acusação ou julgamento justo.
→ Josef K. foi detido sem acusação formal.

Artigo 28.º – Garantias em Caso de Detenção
A pessoa deve ser informada das razões da detenção e apresentada a juiz.
→ No romance, isso não ocorre.

Artigo 32.º – Garantias de Defesa e Processo Criminal

N.º 1: “O processo criminal assegura todas as garantias de defesa.”

N.º 2: “Nenhuma causa pode ser subtraída ao tribunal cuja competência esteja fixada em lei.”

N.º 5: “O arguido tem direito a ser informado da acusação.”
→ Todo o processo de Kafka viola esses princípios.

Código de Processo Penal Português (CPP)

Artigo 61.º – Direitos do Arguido
O arguido tem direito a conhecer os factos que lhe são imputados e as provas.
→ Josef K. nunca teve acesso à acusação.

Artigo 283.º – Requisitos da Acusação
A acusação deve ser clara, com descrição de factos e normas jurídicas violadas.
→ No romance, isso não existe.

Artigo 6.º CPP – Princípio da Legalidade
Ninguém pode ser processado sem base legal e acusação fundamentada.

[BearManBull]

Qual é o problema de colocar uma LLM a criar uma estratégia de defesa num caso judicial grande? Se envolver efetivamente raciocínio, distinguir o "trigo do joio" entre toda a informação que consta no processo, perceber que falta informação, solicitar diligências adicionais de investigação e perícias... a LLM não serve, pela definição sucinta que dei no início, a LLM não pensa.

Os LLMs conseguem rebuscar petabytes que foram usados no treino. Distinguir trigo do joio é uma capacidade que têm neste momento altamente desenvolvida para prompts curtos.

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Nota: entendo perfeitamente que LLM é muito sumariamente um modelo de calculo de token seguinte considerando os tokens anteriores e nao uma maquina pensante já tenho isso explicito em varios posts neste topico.

Aqui está um modelo de defesa para Josef K. no contexto do processo narrado por Franz Kafka, com base no caráter surreal e absurdo do julgamento:

Defesa de Josef K.

Excelentíssimos Senhores,

Comparecemos perante este tribunal para demonstrar que o acusado, Josef K., encontra-se injustamente submetido a um processo que fere os princípios fundamentais da racionalidade, da legalidade e da dignidade humana.

1. Ausência de Acusação Clara

Desde o início, Josef K. não foi informado da natureza da acusação que lhe é imputada. O direito à ampla defesa pressupõe conhecimento do crime ou infração, algo inexistente neste caso. Sem acusação formal, não existe processo legítimo.

2. Violação do Devido Processo Legal

O procedimento é secreto, obscuro e arbitrário. Não há transparência nem imparcialidade. Testemunhas, provas e regras não são apresentadas, impossibilitando contraditório e ampla defesa, pilares de qualquer justiça.

3. Presunção de Inocência

Não há qualquer evidência ou testemunho que ligue Josef K. a um ato ilícito. A simples detenção e o andamento processual sugerem um pré-julgamento, invertendo a lógica da inocência presumida.

4. Sistema Corrupto e Inacessível

As instâncias superiores são inatingíveis, os advogados são impotentes e os tribunais operam sob normas ocultas. Tal estrutura não busca a verdade, mas perpetua a opressão, tornando impossível uma defesa efetiva.

5. Argumento Ético e Filosófico

A punição sem culpa clara transforma a justiça em um instrumento de opressão, e não de ordem. O processo deixa de ser um meio de aplicar a lei e se converte num fim em si mesmo: a submissão do indivíduo.

Pedido Final

Diante da ausência de acusação formal, da inexistência de provas e da flagrante violação de princípios básicos de justiça, requer-se a imediata anulação do processo, com a consequente absolvição de Josef K., restabelecendo-se sua liberdade e dignidade.

[Rolling_Trader]

Nao é preciso ter AGI para criar uma estratégia de defesa num caso judical grande, mas é preciso ser capaz de ler muita informaçao e pescar o que é relevante.

Com prompts atomicos os LLMs fazem um bom serviço, outra coisa é passar um arquivo com imagens, diagramas, relatos, relatorios, etc tudo com conteudos difusos que é acontece ao ser humano.

Principalmente quando se tenta coisas do estilo, "ok agora corrige este ponto", "agora corrige outro ponto" - morre na praia.

BearManBull,

Complementando o que o MarcoAntonio escreveu:

Escrito de forma muito sucinta, podemos dizer que uma LLM é um modelo probabilístico que escolhe cada token que escreve com base numa probabilidade face ao seu conhecimento de treino e ao contexto que lhe é dado.

Só esta definição devia ser mais que claro que uma LLM nunca pode ser considerada inteligente, visto que não pensa, limita-se a "advinhar" cada palavra que escreve, com base em probabilidades.

Quanto à questão da "janela de contexto", se estivermos a falar apenas de fornecer documentos em forma de texto, todas os grandes modelos proprietários são bastante eficazes a fazer RAG (Retrieval Augmented Generation), sendo quase ou tão precisos a usar o texto fornecido no contexto quanto a usar a base de conhecimento em que foram treinados.

Já em termos de imagens a coisa fica mais complicada pois requer duas peças de arquitetura adicionais, um Vision Encoder, capaz de analisar imagens e um adaptador que faça a ponte de ligação entre a LLM e o Vision Encoder. A conjunção dos dois são as VLM (Vision Language Models).

Qual é o problema de colocar uma LLM a criar uma estratégia de defesa num caso judicial grande? Se envolver efetivamente raciocínio, distinguir o "trigo do joio" entre toda a informação que consta no processo, perceber que falta informação, solicitar diligências adicionais de investigação e perícias... a LLM não serve, pela definição sucinta que dei no início, a LLM não pensa.

[MarcoAntonio]

Nao é preciso ter AGI para criar uma estratégia de defesa num caso judical grande, mas é preciso ser capaz de ler muita informaçao e pescar o que é relevante.

Com prompts atomicos os LLMs fazem um bom serviço, outra coisa é passar um arquivo com imagens, diagramas, relatos, relatorios, etc tudo com conteudos difusos que é acontece ao ser humano.

Principalmente quando se tenta coisas do estilo, "ok agora corrige este ponto", "agora corrige outro ponto" - morre na praia.

Penso que estás a assumir que os problemas se devem à dimensão da janela de contexto quando podem não se dever a isso. Estás também a assumir que não é preciso ter uma (verdadeira) AGI para construir uma estratégia de defesa, o que não creio que seja bem verdade no contexto de uma forte acepção de "inteligência" (quero portanto dizer ser capaz de construir inteligentemente uma estratégia; assim como outras coisas que referes de seguida, incluindo no post seguinte). Ora, estes modelos não dispõe de "verdadeira" inteligência, antes "emulam" inteligência.

A própria definição de AGI não é pacífica. Nem todos a utilizam o termo no mesmo sentido. Entretanto têm surgido outros termos mais específicos para lidar com este problema (definição de AGI demasiado ambígua ou fluída). Eu tendo a utilizar AGI no sentido de HLAI (human-level AI) e costumo também acrescentar "verdadeira" (verdadeira AGI). Isto para apontar para "inteligência no sentido humano".

Indo mais directamente à tua questão: ler muita informação e pescar (rapidamente) o que é relevante, dentro do domínio do que o modelo conhece (e que resulta do seu treino), é precisamente aquilo em que os LLMs são bons. Têm maior facilidade que um humano em manejar e destilar (rapidamente) grandes quantidades de informação.

O "problema" é que, em momento algum, o modelo "entendeu realmente" o que fez. Ao contrário de nós, não constroem um modelo do mundo; o que constroem é um modelo das linguagens (que, por sua vez, podem ser entendidas como uma codificação do mundo real, daí que o que é produzido nos pareça, conforme a vez, tão humano, tão plausível ou tão útil/eficaz). Mas, o tempo todo, o que o modelo aprendeu (durante o treino) foram relações entre tokens; sendo que, na inferência, processa tokens com base nas relações aprendidas (e eventualmente o que mais for buscar na hora, para actualizar o conhecimento). Mas sem nunca entender o que os tokens realmente querem dizer. Palavras não têm significado intrínseco. Isto remete-nos para o problema denominado de "symbol grounding problem", é do que eu estou aqui a falar.

Porque é que isto é relevante: porque as falhas que estás a detectar vão, com toda a probabilidade, continuar a ocorrer para lá de qualquer janela de contexto. A janela de contexto pequena, vai agravar (um problema de recursos); um modelo mais sofisticado, com layers adicionais, vai minimizar (um problema de maturação da tecnologia); mas, a janela de contexto não será a limitação fundamental. A limitação fundamental é que o core, o núcleo dos modelos, é um sofisticadíssimo modelo de processamento de linguagem. A linguagem - nos humanos - não é a manifestação da inteligência em si, não é do que dependemos para sermos inteligentes. A linguagem é algo que emergiu da inteligência, é uma ferramenta... Continuamos inteligentes mesmo deprovidos de linguagem (dito de outra forma, a linguagem vem depois). Nos modelos neuronais actuais, isto está invertido: a linguagem é o ponto de partida (o core). A aparência de inteligência vem de como o modelo aprende a reconhecer e a utilizar padrões na linguagem (e isto é útil na medida em que a linguagem é uma projecção do mundo real, na medida em que representamos - ou codificamos - na linguagem coisas úteis).

Ou seja, a janela de contexto para que estás a apontar diz respeito a uma limitação de recursos. O problema que eu vejo é uma limitação na capacidade de representação. Ler muita informação e "pescar" o relevante é precisamente aquilo em que os LLMs são bons. O que não fazem (de raiz ou a um nível fundamental) é construir um modelo do mundo: o núcleo continua a ser um modelo de linguagem que aprende padrões num código com perdas: as palavras não vêm ancoradas a referentes, causas e (aquilo que, em inglês, denominamos) affordances.

Aumentar a janela de contexto melhora aquilo que vamos chamar de memória de curto-prazo, a capacidade do modelo se manter coerente durante a conversa corrente, etc. Mas não é a janela de contexto (ainda por cima, durante a inferência) que vai capacitar o modelo de um entendimento do mundo real. A implicação prática é esta: este "gap" (a falta de um entendimento real) conduz a erros recorrentes, como as falhas a que aludes ou as alucinações.


Provavelmente isto dava para escrever em metade das palavras e isso é uma coisa que um LLM consegue fazer melhor que eu...

[BearManBull]

Isto é um dos pontos contra a adopçao de maior escala.

Outro ponto importante é a confiança. Neste momento nao deve existir um CEO que se sinta confortável a ter um LLM, por exemplo, a dar ordens de compra para o refill de stocks...