Meta do Governo para peso das exportações no PIB mais longínqua

[previsor]

https://www.facebook.com/share/r/1CXzKS ... tid=wwXIfr

[MarcoAntonio]

Estao a falar de tokens, como se fossem pre cozinhados para ser consumidos pelo LLM e nao de informaçao difusa como é a realidade....

Aparentemente, estás agora a remeter precisamente para o que eu cobri num post mais atrás (se é que estou a entender o que estás a querer dizer). Ou queres transmitir algo fundamentalmente diferente do que eu expus aqui?

Os tokens não são nem "pré-cozinhados" nem "informação difusa" como é a realidade, são apenas a unidade técnica que o modelo usa para representar (ler, escrever e processar) texto. No texto que estavas a comentar, foi discutido enquanto métrica para medir o que caberá na janela de contexto para um documento concreto (por exemplo, um livro). Recorrendo a uma analogia, podemos falar de tokens na janela de contexto como bytes numa RAM.

Bem novamente o mesmo.

Tenho um caso em tribunal tenho 50 documentos para que o GPT ler e gerar uma defesa um dos grandes problemas é incapacidade de ler esses 50 documentos, justamente por falta de context window.

Qual é a dimensão do conjunto desses 50 documentos (em palavras), por exemplo, consegues estimar? E se houver outro tipo de informação para lá de texto, também precisa de ser quantificado.

O GTP é capaz de ler diagramas e imagens individuais mas quando é parte de um todo complexo nao.

Isto já não é bem verdade, não com as versões mais recentes do GPT, que são multimodais, que processam e mantêm na janela de contexto informação proveniente de diferentes fontes (texto e imagens). Existe um limite quantitativo (a dimensão da janela de contexto) e que podemos estimar (ie, verificar se a quantidade de materiais cabe ou não na janela de contexto). Mas alegar que o GPT não consegue ler diagramas e imagens individuais como parte de um todo complexo, já não é bem o que se passa actualmente com os modelos superiores e multimodais já disponíveis.

Agora, para lá das limitações quantitativas (capacidade de armazenamento em termos de janela de contexto) que possam existir, existem limitações qualitatitvas, que derivam da arquitectura dos modelos (limitações processuais, para não dizer mesmo fenomenológicas se quisermos p.e. discutir o que é verdadeira inteligência, mas isso remete-nos para o post que eu já coloquei mais atrás).



Não é claro para mim ainda o que estás querer transmitir exactamente. Por exemplo, qual é exactamente a natureza da limitação ou limitações e porque é que dizes que não é preciso uma AGI para organizar uma estratégia num caso judicial grande e depois apontas para o que parece ser a degradação quando o modelo tenta lidar com tarefas complexas (tarefas iterativas, diferentes tipos de informação, mapeamento correcto com a realidade, etc).

[BearManBull]

Não consigo entender o que estás a escrever / querer transmitir.

Bem novamente o mesmo.

Tenho um caso em tribunal tenho 50 documentos para que o GPT ler e gerar uma defesa um dos grandes problemas é incapacidade de ler esses 50 documentos, justamente por falta de context window.

Novamente a realidade nao se limita a palavras existem diagramas, imagens.

O GTP é capaz de ler diagramas e imagens individuais mas quando é parte de um todo complexo nao.

[BearManBull]

Para contextualizar, 1500 páginas são 2 cópias integrais dos "Maias" de Eça de Queiroz, um dos livros mais extensos da literatura portuguesa, com 720 páginas. Se quiser pegar noutras obras mais pequenas do Eça, equivale a mais de 4 cópias de "As Pupilas do Senhor Reitor" e a mais de 7 cópias do "Amor de Perdição".

Penso que esta estimativa estará até algo por baixo. Um token tipicamente ronda 0.75 palavras (~1.3 tokens por palavra) em inglês. Como o "Os Maias" tem na ordem de 218 mil palavras (varia conforme a edição), isto dará na ordem de 290K tokens. 1M daria para cobrir cerca de 3.5 vezes "Os Maias" completo. No entanto, isto é utilizando o rácio no inglês (de qq das formas serve para uma ideia geral).

Já agora, tendo a privilegiar largamente a interação com os LLM em inglês por várias razões e uma delas está conectada precisamente com isto (no geral resumem-se ao mesmo, expectativa de melhor desempenho): o português (assim como outras línguas) tende a precisar de mais tokens que o inglês; mais razões: o inglês permite linguagem mais precisa/inequivoca em certas áreas, especialmente técnicas, além dos modelos LLM tenderem a demonstrar, empiricamente, melhor desempenho com o inglês (para começar, são treinados com um corpora muito mais vasto em inglês).

Estao a falar de tokens, como se fossem pre cozinhados para ser consumidos pelo LLM e nao de informaçao difusa como é a realidade....

[MarcoAntonio]

Não consigo entender o que estás a escrever / querer transmitir.

[BearManBull]

Vamos lá ver: janela de contexto (ampla) é uma questão de recursos do sistema, não de processo. Ao utilizar uma janela de contexto grande/enorme, não estás a mudar nada no processo (como o modelo “raciocina”); apenas a aumentar a quantidade de informação que entra/é mantida na janela de contexto.

Mas se é isso que estou a dizer.

Outra vez o mesmo que já estou farto de dizer o ChatGPT nao come 50 PTTs e 100 Words que funcona bem com prompts atomicos mas que nao consegue digerir informaçao massiva de entrada.

[MarcoAntonio]

Para contextualizar, 1500 páginas são 2 cópias integrais dos "Maias" de Eça de Queiroz, um dos livros mais extensos da literatura portuguesa, com 720 páginas. Se quiser pegar noutras obras mais pequenas do Eça, equivale a mais de 4 cópias de "As Pupilas do Senhor Reitor" e a mais de 7 cópias do "Amor de Perdição".

Penso que esta estimativa estará até algo por baixo. Um token tipicamente ronda 0.75 palavras (~1.3 tokens por palavra) em inglês. Como o "Os Maias" tem na ordem de 218 mil palavras (varia conforme a edição), isto dará na ordem de 290K tokens. 1M daria para cobrir cerca de 3.5 vezes "Os Maias" completo. No entanto, isto é utilizando o rácio no inglês (de qq das formas serve para uma ideia geral).

Já agora, tendo a privilegiar largamente a interação com os LLM em inglês por várias razões e uma delas está conectada precisamente com isto (no geral resumem-se ao mesmo, expectativa de melhor desempenho): o português (assim como outras línguas) tende a precisar de mais tokens que o inglês; mais razões: o inglês permite linguagem mais precisa/inequivoca em certas áreas, especialmente técnicas, além dos modelos LLM tenderem a demonstrar, empiricamente, melhor desempenho com o inglês (para começar, são treinados com um corpora muito mais vasto em inglês).

[MarcoAntonio]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

Refiro-me á soma das partes.

No geral com LLMs consegue-se fazer um pouco de tudo grao a grao mas nao o todo.

Vamos lá ver: janela de contexto (ampla) é uma questão de recursos do sistema, não de processo. Ao utilizar uma janela de contexto grande/enorme, não estás a mudar nada no processo (como o modelo “raciocina”); apenas a aumentar a quantidade de informação que entra/é mantida na janela de contexto.

No caso da utilização de CoT, podem-se usar janelas maiores (é comum em modelos atuais, pe GPT5), provavelmente porque decompor a geração da completion em várias fases tende a exigir manter um contexto maior e mais detalhado.

Mas parece-me importante distinguir bem o que é a janela de contexto do que é o processo/técnica de reasoning em si.

[BearManBull]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

Refiro-me á soma das partes.

No geral com LLMs consegue-se fazer um pouco de tudo grao a grao mas nao o todo.

[BearManBull]

Quando a rede está treinada com os materiais necessários consegue-se uma boa matriz.

Tribunal Judicial da Comarca de ________

Juízo Central Criminal – Juiz ___

Processo n.º ____

Arguido: Josef K.

REQUERIMENTO DE NULIDADE DO PROCESSO E ABSOLVIÇÃO

Ex.mo Senhor Juiz,

Josef K., arguido nos autos à margem referidos, por intermédio do seu advogado, vem, nos termos e para os efeitos legais, apresentar o presente Requerimento de Nulidade e Absolvição, com base nos seguintes:

I – FACTOS PROVADOS (COM BASE NA OBRA "O PROCESSO", DE FRANZ KAFKA)

O arguido foi detido no seu domicílio por agentes desconhecidos sem mandado judicial nem explicação sobre a acusação (“Alguém havia de caluniar Josef K., pois uma manhã, sem ter feito nada de mal, foi detido.”).

Durante a detenção, não lhe foram comunicados os factos imputados nem a natureza do crime (“Não sabemos qual é a acusação. Não nos compete dizê-lo.” – agentes da detenção).

O arguido não teve acesso a qualquer acusação escrita nem a elementos probatórios, sendo instruído apenas a comparecer num local indefinido e clandestino.

As audiências foram realizadas em espaços improvisados e secretos, sem juiz identificado e sem publicidade do ato (“O tribunal estava num sótão abafado, entre roupas e trapos, sem qualquer solenidade.”).

Não lhe foi permitido contraditório eficaz nem defesa adequada, uma vez que nem o próprio advogado tinha acesso aos autos ou conhecimento dos factos (“Os advogados pouco ou nada podem fazer; tudo se decide em esferas superiores e invisíveis.”).

O processo desenrolou-se sem prazo, em total indefinição temporal e material, mantendo o arguido em permanente insegurança jurídica (“O processo nunca avança, nunca termina; é como um peso que se carrega sem saber porquê.”).

II – ENQUADRAMENTO JURÍDICO

Constituição da República Portuguesa (CRP):

Artigo 27.º, n.º 1 – “Todos têm direito à liberdade e à segurança.”

Artigo 28.º, n.º 1 – “Ninguém pode ser detido ou preso senão nos casos previstos na lei e por autoridade judicial competente.”

Artigo 32.º, n.º 1 e 5 – “O processo criminal assegura todas as garantias de defesa (...). O arguido tem direito a ser informado da acusação.”

Código de Processo Penal (CPP):

Artigo 61.º, n.º 1, al. b) – “O arguido tem direito a ser informado dos factos que lhe são imputados.”

Artigo 283.º, n.º 3 – “A acusação deve conter a identificação do arguido e a descrição (...) dos factos imputados.”

Convenção Europeia dos Direitos Humanos (CEDH):

Artigo 6.º, n.º 1 e 3, al. a) – “Todo o arguido tem direito a ser informado, no mais curto prazo, da natureza e da causa da acusação.”

III – FUNDAMENTAÇÃO

O processo descrito carece de qualquer validade jurídica no ordenamento português porque:

Não houve acusação formal nem comunicação dos factos, violando art. 32.º CRP e art. 61.º CPP.

O arguido foi detido arbitrariamente, sem mandado nem competência, contrariando art. 27.º e 28.º CRP e art. 6.º CEDH.

Não foi assegurado contraditório nem defesa efetiva, ferindo o princípio do Estado de Direito e a dignidade humana.

(Opcional filosófico) Como diria Hannah Arendt, a banalização da arbitrariedade destrói a essência do Direito, convertendo o processo num instrumento de poder e não de justiça.

IV – PEDIDO

Nestes termos, requer-se a V. Exa.:

Seja declarada a nulidade absoluta do processo, por violação das garantias constitucionais, processuais e internacionais;

Seja o arguido Josef K. imediatamente absolvido e restituído à liberdade, com extinção de todos os efeitos processuais;

Seja determinada a comunicação desta decisão às instâncias competentes para registo da ilegalidade, de modo a prevenir abusos futuros.

Termos em que,
Pede deferimento.

Local e Data: ________

O Advogado,

[MarcoAntonio]

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Por cadeias de raciocínio, estás a referir-te a algo como Chain of Thought (CoT) ou outra abordagem de reasoning? Pergunto dado que de seguida colocas entre parentisis "context window amplas", que é outra coisa (que não uma cadeia de raciocínio). Está algo confuso, estou a tentar clarificar o que queres transmitir.

[BearManBull]

Até se pode pedir algo mais, mas á medida que se tenta esmiuçar o amigo, perde-se...

Constituição da República Portuguesa (CRP)

Artigo 1.º – Princípio da Dignidade da Pessoa Humana
A dignidade é inviolável e deve ser respeitada pelo Estado e pelas instituições.
→ A ausência de acusação clara e o tratamento arbitrário violam esse princípio.

Artigo 13.º – Princípio da Igualdade
Todos são iguais perante a lei, sem discriminação.
→ O processo secreto cria discriminação e arbitrariedade.

Artigo 27.º – Direito à Liberdade e Segurança
Ninguém pode ser privado da liberdade sem acusação ou julgamento justo.
→ Josef K. foi detido sem acusação formal.

Artigo 28.º – Garantias em Caso de Detenção
A pessoa deve ser informada das razões da detenção e apresentada a juiz.
→ No romance, isso não ocorre.

Artigo 32.º – Garantias de Defesa e Processo Criminal

N.º 1: “O processo criminal assegura todas as garantias de defesa.”

N.º 2: “Nenhuma causa pode ser subtraída ao tribunal cuja competência esteja fixada em lei.”

N.º 5: “O arguido tem direito a ser informado da acusação.”
→ Todo o processo de Kafka viola esses princípios.

Código de Processo Penal Português (CPP)

Artigo 61.º – Direitos do Arguido
O arguido tem direito a conhecer os factos que lhe são imputados e as provas.
→ Josef K. nunca teve acesso à acusação.

Artigo 283.º – Requisitos da Acusação
A acusação deve ser clara, com descrição de factos e normas jurídicas violadas.
→ No romance, isso não existe.

Artigo 6.º CPP – Princípio da Legalidade
Ninguém pode ser processado sem base legal e acusação fundamentada.

[BearManBull]

Qual é o problema de colocar uma LLM a criar uma estratégia de defesa num caso judicial grande? Se envolver efetivamente raciocínio, distinguir o "trigo do joio" entre toda a informação que consta no processo, perceber que falta informação, solicitar diligências adicionais de investigação e perícias... a LLM não serve, pela definição sucinta que dei no início, a LLM não pensa.

Os LLMs conseguem rebuscar petabytes que foram usados no treino. Distinguir trigo do joio é uma capacidade que têm neste momento altamente desenvolvida para prompts curtos.

Algo que faz falta sao cadeias de raciociinio (context window amplas) mas no granular sao altamente efectivos e eficazes (claro que nao a 100% mas um numero consideravel para efeitos praticos).

Nota: entendo perfeitamente que LLM é muito sumariamente um modelo de calculo de token seguinte considerando os tokens anteriores e nao uma maquina pensante já tenho isso explicito em varios posts neste topico.

Aqui está um modelo de defesa para Josef K. no contexto do processo narrado por Franz Kafka, com base no caráter surreal e absurdo do julgamento:

Defesa de Josef K.

Excelentíssimos Senhores,

Comparecemos perante este tribunal para demonstrar que o acusado, Josef K., encontra-se injustamente submetido a um processo que fere os princípios fundamentais da racionalidade, da legalidade e da dignidade humana.

1. Ausência de Acusação Clara

Desde o início, Josef K. não foi informado da natureza da acusação que lhe é imputada. O direito à ampla defesa pressupõe conhecimento do crime ou infração, algo inexistente neste caso. Sem acusação formal, não existe processo legítimo.

2. Violação do Devido Processo Legal

O procedimento é secreto, obscuro e arbitrário. Não há transparência nem imparcialidade. Testemunhas, provas e regras não são apresentadas, impossibilitando contraditório e ampla defesa, pilares de qualquer justiça.

3. Presunção de Inocência

Não há qualquer evidência ou testemunho que ligue Josef K. a um ato ilícito. A simples detenção e o andamento processual sugerem um pré-julgamento, invertendo a lógica da inocência presumida.

4. Sistema Corrupto e Inacessível

As instâncias superiores são inatingíveis, os advogados são impotentes e os tribunais operam sob normas ocultas. Tal estrutura não busca a verdade, mas perpetua a opressão, tornando impossível uma defesa efetiva.

5. Argumento Ético e Filosófico

A punição sem culpa clara transforma a justiça em um instrumento de opressão, e não de ordem. O processo deixa de ser um meio de aplicar a lei e se converte num fim em si mesmo: a submissão do indivíduo.

Pedido Final

Diante da ausência de acusação formal, da inexistência de provas e da flagrante violação de princípios básicos de justiça, requer-se a imediata anulação do processo, com a consequente absolvição de Josef K., restabelecendo-se sua liberdade e dignidade.

[Rolling_Trader]

Nao é preciso ter AGI para criar uma estratégia de defesa num caso judical grande, mas é preciso ser capaz de ler muita informaçao e pescar o que é relevante.

Com prompts atomicos os LLMs fazem um bom serviço, outra coisa é passar um arquivo com imagens, diagramas, relatos, relatorios, etc tudo com conteudos difusos que é acontece ao ser humano.

Principalmente quando se tenta coisas do estilo, "ok agora corrige este ponto", "agora corrige outro ponto" - morre na praia.

BearManBull,

Complementando o que o MarcoAntonio escreveu:

Escrito de forma muito sucinta, podemos dizer que uma LLM é um modelo probabilístico que escolhe cada token que escreve com base numa probabilidade face ao seu conhecimento de treino e ao contexto que lhe é dado.

Só esta definição devia ser mais que claro que uma LLM nunca pode ser considerada inteligente, visto que não pensa, limita-se a "advinhar" cada palavra que escreve, com base em probabilidades.

Quanto à questão da "janela de contexto", se estivermos a falar apenas de fornecer documentos em forma de texto, todas os grandes modelos proprietários são bastante eficazes a fazer RAG (Retrieval Augmented Generation), sendo quase ou tão precisos a usar o texto fornecido no contexto quanto a usar a base de conhecimento em que foram treinados.

Já em termos de imagens a coisa fica mais complicada pois requer duas peças de arquitetura adicionais, um Vision Encoder, capaz de analisar imagens e um adaptador que faça a ponte de ligação entre a LLM e o Vision Encoder. A conjunção dos dois são as VLM (Vision Language Models).

Qual é o problema de colocar uma LLM a criar uma estratégia de defesa num caso judicial grande? Se envolver efetivamente raciocínio, distinguir o "trigo do joio" entre toda a informação que consta no processo, perceber que falta informação, solicitar diligências adicionais de investigação e perícias... a LLM não serve, pela definição sucinta que dei no início, a LLM não pensa.

[MarcoAntonio]

Nao é preciso ter AGI para criar uma estratégia de defesa num caso judical grande, mas é preciso ser capaz de ler muita informaçao e pescar o que é relevante.

Com prompts atomicos os LLMs fazem um bom serviço, outra coisa é passar um arquivo com imagens, diagramas, relatos, relatorios, etc tudo com conteudos difusos que é acontece ao ser humano.

Principalmente quando se tenta coisas do estilo, "ok agora corrige este ponto", "agora corrige outro ponto" - morre na praia.

Penso que estás a assumir que os problemas se devem à dimensão da janela de contexto quando podem não se dever a isso. Estás também a assumir que não é preciso ter uma (verdadeira) AGI para construir uma estratégia de defesa, o que não creio que seja bem verdade no contexto de uma forte acepção de "inteligência" (quero portanto dizer ser capaz de construir inteligentemente uma estratégia; assim como outras coisas que referes de seguida, incluindo no post seguinte). Ora, estes modelos não dispõe de "verdadeira" inteligência, antes "emulam" inteligência.

A própria definição de AGI não é pacífica. Nem todos a utilizam o termo no mesmo sentido. Entretanto têm surgido outros termos mais específicos para lidar com este problema (definição de AGI demasiado ambígua ou fluída). Eu tendo a utilizar AGI no sentido de HLAI (human-level AI) e costumo também acrescentar "verdadeira" (verdadeira AGI). Isto para apontar para "inteligência no sentido humano".

Indo mais directamente à tua questão: ler muita informação e pescar (rapidamente) o que é relevante, dentro do domínio do que o modelo conhece (e que resulta do seu treino), é precisamente aquilo em que os LLMs são bons. Têm maior facilidade que um humano em manejar e destilar (rapidamente) grandes quantidades de informação.

O "problema" é que, em momento algum, o modelo "entendeu realmente" o que fez. Ao contrário de nós, não constroem um modelo do mundo; o que constroem é um modelo das linguagens (que, por sua vez, podem ser entendidas como uma codificação do mundo real, daí que o que é produzido nos pareça, conforme a vez, tão humano, tão plausível ou tão útil/eficaz). Mas, o tempo todo, o que o modelo aprendeu (durante o treino) foram relações entre tokens; sendo que, na inferência, processa tokens com base nas relações aprendidas (e eventualmente o que mais for buscar na hora, para actualizar o conhecimento). Mas sem nunca entender o que os tokens realmente querem dizer. Palavras não têm significado intrínseco. Isto remete-nos para o problema denominado de "symbol grounding problem", é do que eu estou aqui a falar.

Porque é que isto é relevante: porque as falhas que estás a detectar vão, com toda a probabilidade, continuar a ocorrer para lá de qualquer janela de contexto. A janela de contexto pequena, vai agravar (um problema de recursos); um modelo mais sofisticado, com layers adicionais, vai minimizar (um problema de maturação da tecnologia); mas, a janela de contexto não será a limitação fundamental. A limitação fundamental é que o core, o núcleo dos modelos, é um sofisticadíssimo modelo de processamento de linguagem. A linguagem - nos humanos - não é a manifestação da inteligência em si, não é do que dependemos para sermos inteligentes. A linguagem é algo que emergiu da inteligência, é uma ferramenta... Continuamos inteligentes mesmo deprovidos de linguagem (dito de outra forma, a linguagem vem depois). Nos modelos neuronais actuais, isto está invertido: a linguagem é o ponto de partida (o core). A aparência de inteligência vem de como o modelo aprende a reconhecer e a utilizar padrões na linguagem (e isto é útil na medida em que a linguagem é uma projecção do mundo real, na medida em que representamos - ou codificamos - na linguagem coisas úteis).

Ou seja, a janela de contexto para que estás a apontar diz respeito a uma limitação de recursos. O problema que eu vejo é uma limitação na capacidade de representação. Ler muita informação e "pescar" o relevante é precisamente aquilo em que os LLMs são bons. O que não fazem (de raiz ou a um nível fundamental) é construir um modelo do mundo: o núcleo continua a ser um modelo de linguagem que aprende padrões num código com perdas: as palavras não vêm ancoradas a referentes, causas e (aquilo que, em inglês, denominamos) affordances.

Aumentar a janela de contexto melhora aquilo que vamos chamar de memória de curto-prazo, a capacidade do modelo se manter coerente durante a conversa corrente, etc. Mas não é a janela de contexto (ainda por cima, durante a inferência) que vai capacitar o modelo de um entendimento do mundo real. A implicação prática é esta: este "gap" (a falta de um entendimento real) conduz a erros recorrentes, como as falhas a que aludes ou as alucinações.


Provavelmente isto dava para escrever em metade das palavras e isso é uma coisa que um LLM consegue fazer melhor que eu...

[BearManBull]

Isto é um dos pontos contra a adopçao de maior escala.

Outro ponto importante é a confiança. Neste momento nao deve existir um CEO que se sinta confortável a ter um LLM, por exemplo, a dar ordens de compra para o refill de stocks...

[BearManBull]

Adenda, ao jeito de comentário com a minha perspectiva: não creio que a limitação dos modelos actuais seja a janela de contexto (excepto quando ela é manifestamente exigua para a tarefa em mãos, claro) mas sim de natureza fundamental; o core dos modelos continua a ser (ainda) um modelo NLP; a linguagem é uma ferramenta útil mas não é o que está no core daquilo que entendemos como inteligência; creio que há margem de progressão - não consigo determinar quanta - mas uma verdadeira AGI com estes modelos actuais é, a meu ver, uma miragem; mas, dito isto, ainda não vimos tudo o que esta "geração" de modelos tem para oferecer e como vai mudar as nossas vidas.

Nao é preciso ter AGI para criar uma estratégia de defesa num caso judical grande, mas é preciso ser capaz de ler muita informaçao e pescar o que é relevante.

Com prompts atomicos os LLMs fazem um bom serviço, outra coisa é passar um arquivo com imagens, diagramas, relatos, relatorios, etc tudo com conteudos difusos que é acontece ao ser humano.

Principalmente quando se tenta coisas do estilo, "ok agora corrige este ponto", "agora corrige outro ponto" - morre na praia.

[BearManBull]

(...)
Para já parece-me que as context windows limitam a revoluçao das LLMs.

BearManBull, parece-lhe pequeno o tamanho atual da janela de contexto do Google Gemini de 1 milhão de tokens?

Parece pouco, para ter a real aplicaçao pratica de substituir humanos em escala.

Um caso em tribunal nao se defende com prompts. Nem se automatiza um processo empresarial com prompts.

Mesmo no meu dia a dia é fácil fazer estas ferramentas perder o fio á meada.

Quando os LLMs tentam assimilar info de muitas fontes corre mal.

[MarcoAntonio]

Actualmente, são 196K no GPT-5 (thinking/reasoning) tanto no acesso free como no plus e pro (mas com diferentes limites de utilização/acesso). Sem reasoning, varia (8K ou 16K no free, 32K no plus, 128K no pro). Mas do plus para cima é possível na prática utilizar apenas reasoning/thinking (mesmo que o limite seja atingido, continua disponível no mini, com um limite de utilização bastante elevado).



Adenda, ao jeito de comentário com a minha perspectiva: não creio que a limitação dos modelos actuais seja a janela de contexto (excepto quando ela é manifestamente exigua para a tarefa em mãos, claro) mas sim de natureza fundamental; o core dos modelos continua a ser (ainda) um modelo NLP; a linguagem é uma ferramenta útil mas não é o que está no core daquilo que entendemos como inteligência; creio que há margem de progressão - não consigo determinar quanta - mas uma verdadeira AGI com estes modelos actuais é, a meu ver, uma miragem; mas, dito isto, ainda não vimos tudo o que esta "geração" de modelos tem para oferecer e como vai mudar as nossas vidas.

[Rolling_Trader]

(...)
Para já parece-me que as context windows limitam a revoluçao das LLMs.

BearManBull, parece-lhe pequeno o tamanho atual da janela de contexto do Google Gemini de 1 milhão de tokens?

Segundo a própria google, isso equivale mais ou menos a 1500 páginas de texto ou 30 mil linhas de código (de uma qualquer liguagem de programação).

Para contextualizar, 1500 páginas são 2 cópias integrais dos "Maias" de Eça de Queiroz, um dos livros mais extensos da literatura portuguesa, com 720 páginas. Se quiser pegar noutras obras mais pequenas, de outros autores conhecidos, equivale a mais de 4 cópias de "As Pupilas do Senhor Reitor" e a mais de 7 cópias do "Amor de Perdição".

Efetivamente as janelas de contexto começaram pequenas. Por exemplo a primeira versão do Chat GPT era de 4 mil tokens, mas a Google deixou a barra bem lá em cima e os restantes "providers" estão a chegar lá. Atualmente o Chat GPT 5 já suporta 128 mil tokens.

Podemos dissertar sobre a eficiência e precisão de inferência sobre um grotesco contexto de 1 milhão de tokens, que efetivamente sofre alguma degradação, mas progressos e evoluções são alcançados numa base diária para melhorar essas limitações.

Mas, dentro dos limites de 128 mil tokens, não há degradação de inferência assinalável.

[BearManBull]

mas a tendência será criar outro tipo de trabalho, mais especializado, ligado à IA.

Talvez aposte mais na necessidade de cargos com maior capacidade de decisao e maior abrangencia de conhecimento.

Para já parece-me que as context windows limitam a revoluçao das LLMs.

[Rolling_Trader]

There Is Now Clearer Evidence AI Is Wrecking Young Americans’ Job Prospects

WSJ

Parece-me que o título do WSJ é demasiado sensacionalista face à conclusão do research, na medida em que "Wrecking Young Americans’ Job Prospects" é muito diferente da conclusão do research paper "13 percent relative decline in employment" (mas... os jornais vivem de clickbait).

À medida que as empresas adotam IA (e quando digo adotam é no sentido de substituir trabalho intelectual humano), é normal que exista uma degradação da procura desses recursos humanos "substituíveis", mas a tendência será criar outro tipo de trabalho, mais especializado, ligado à IA.

Não será muito diferente do que se viveu na revolução industrial. A única diferença será a velocidade da transformação que, no caso da IA será exponencial.

Agora... se atingirmos o (ainda hipotético) nível de implementar uma AGI (Artificial general intelligence), aí... entrávamos noutra discussão... dava para um gigante post e outro research paper

[MarcoAntonio]

There Is Now Clearer Evidence AI Is Wrecking Young Americans’ Job Prospects

Young workers face rising AI competition in fields like software development, but some also benefit from AI as a helper, new research shows

Artificial intelligence is profoundly limiting some young Americans’ employment prospects, new research shows.

Young workers are getting hit in fields where generative-AI tools such as ChatGPT can most easily automate tasks done by humans, such as software development, according to a paper released Tuesday by three Stanford University economists. They crunched anonymized data on millions of employees at tens of thousands of firms, including detailed information on workers’ ages and jobs, making this one of clearest indicators yet of AI’s disruptive impact.

(...)

WSJ


Aqui está o paper em questão. Segue o resumo e a conclusão (paper completo no link).

Abstract

This paper examines changes in the labor market for occupations exposed to generative artificial intelligence using high-frequency administrative data from the largest payroll software provider in the United States. We present six facts that characterize these shifts. We find that since the widespread adoption of generative AI, early-career workers (ages 22-25) in the most AI-exposed occupations have experienced a 13 percent relative decline in employment even after controlling for firm-level shocks. In contrast, employment for workers in less exposed fields and more experienced workers in the same occupations has remained stable or continued to grow. We also find that adjustments occur primarily through employment rather than compensation. Furthermore, employment declines are concentrated in occupations where AI is more likely to automate, rather than augment, human labor. Our results are robust to alternative explanations, such as excluding technology-related firms and excluding occupations amenable to remote work. These six facts provide early, large-scale evidence consistent with the hypothesis that the AI revolution is beginning to have a significant and disproportionate impact on entry-level workers in the American labor market.

(...)

5 Conclusion

We document six facts about the recent labor market effects of artificial intelligence.

• First, we find substantial declines in employment for early-career workers in occupations most exposed to AI, such as software development and customer support.

• Second, we show that economy-wide employment continues to grow, but employment growth for young workers has been stagnant.

• Third, entry-level employment has declined in applications of AI that automate work, with muted effects for those that augment it.

• Fourth, these employment declines remain after conditioning on firm-time effects, with a 13% relative employment decline for young workers in the most exposed occupations.

• Fifth, these labor market adjustments are more visible in employment than in compensation.

• Sixth, we find that these patterns hold in occupations unaffected by remote work and across various alternative sample constructions.

While our main estimates may be influenced by factors other than generative AI, our results are consistent with the hypothesis that generative AI has begun to significantly affect entry-level employment. The adoption of new technologies typically leads to heterogeneous effects across workers, resulting in an adjustment period as workers reallocate from displaced forms of work to new forms with growing labor demand (Autor et al., 2024). Such endogenous adjustment may already be happening with AI, with emerging evidence of shifts in college majors away from AI-exposed categories such as computer science (Horowitch, 2025). Past transitions such as the IT revolution ultimately led to robust growth in employment and real wages following physical and human capital adjustments, with some workers benefiting more than others (Bresnahan et al., 2002; Brynjolfsson et al., 2021). Tracking employment trends on an ongoing basis will help determine if the adjustment to AI follows a similar pattern. Consequently, we will continue to monitor these outcomes to assess whether the trends documented in the paper accelerate in the future. Future work would benefit from better firm-level AI adoption data, which would provide sharper variation for estimating plausible causal effects of AI on employment.

[MarcoAntonio]

Depois de várias ameaças, Musk avança com ação judicial contra Apple e OpenAI - Tecnologias - Jornal de Negócios

Musk acusou a Apple e a OpenAI de favorecerem injustamente a aplicação de inteligência artificial desta última empresa – o ChatGPT - nos iPhones e de com isto impedir a concorrência de outros fabricantes de chatbots. A crescente animosidade entre Musk, a Apple e a OpenAI não é novidade.

Nota: na categoria de produtividade, o Grok está melhor posicionado na App Store (Apple) do que na Play Store (Android) em termos de ranking (3º vs 5º). Em termos de downloads, não é possível dizer sem dados publicos na App Store. O ChatGPT (OpenAI) está em primeiro em ambas as plataformas nos respectivos rankings oficiais (productivity).

Ranking ordenado por milhões de downloads nos últimos 30 dias:

Código: Selecionar todos

App        Dev           Total    30d
Gemini     (Google)       610    84.0
ChatGPT    (OpenAI)       680    71.0
Perplexity (PerplexityAI)  33     9.5
Grok       (xAI)           56     3.4
DeepSeek   (DeepSeek)      58     3.0
Copilot    (Microsoft)     39     3.0
Meta AI    (Meta)          13     2.3
Claude     (Anthropic)      7     0.6


(playstore/android - united states - AI chatbots/assistants)

[MarcoAntonio]

Elon Musk Wanted Mark Zuckerberg to Join OpenAI Bid, Court Filing Says

A Musk-led consortium offered $97.4 billion to buy OpenAI as part of his continuing legal battle with the company he co-founded alongside Sam Altman.

WSJ


Musk tentou recrutar Zuckerberg para financiar compra da OpenAI - Tecnologias - Jornal de Negócios

A OpenAI aponta Zuckerberg como um dos potenciais financiadores sondados por Musk, mas a Meta garante nunca ter feito parte da proposta.