Outros sites Medialivre
Caldeirão da Bolsa

A Revolução da Inteligencia Artificial

Espaço dedicado a todo o tipo de troca de impressões sobre os mercados financeiros e ao que possa condicionar o desempenho dos mesmos.

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 9/2/2023 20:35

Como o ChatGPT não consegue seguir uma instrução simples:

Imagem

A seguir alucina que seguiu a instrução ao mesmo tempo que conta tudo mal:

Imagem
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 9/2/2023 20:14

Curioso como a Google veio alegar que o risco de afectar a sua reputação era maior do que para a OpenAI e depois vem logo a seguir meter argolada com o Bard. Para quem não estiver a acompanhar, numa das primeiras acções a promover o Bard, este aparece a alegar que o James Webb Space Telescope tirou a primeira foto de um exoplaneta, o que rapidamente começou a ser apontado em todo o lado que não é verdade:

Imagem

A culpa maior nem é do Bard. O Bard vai debitar disparates tal como o ChatGPT debita disparates... e ainda falta saber qual dos dois vai disparatar mais frequentemente. A culpa maior é mesmo da Google de não ter feito o mais rudimentar dos fact checkings quando tinha dito nas vésperas que o risco de arruinar a reputação era maior.

:lol:



(nota: o original encontra-se na conta oficial do twitter da google)
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por Opcard » 9/2/2023 19:58

- La Science, CQFD - por: Natacha Triou - Chat-GPT3 é um chatbot cujo potencial parece meteórico. Se o modelo de linguagem subjacente já está bem comprovado, como essa tecnologia poderia marcar uma convulsão em nossas práticas digitais? - convidados: Chloé Clavel Professora associada de ciência da computação afetiva da Telecom ParisTech; Vincent Guigue Professor da Sorbonne University e ajd professor da AgroParisTech

MPodcasts: https://podcasts.apple.com/pt/podcast/d ... 0598913151
 
Mensagens: 4383
Registado: 14/3/2009 0:19
Localização: 16

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 17:15

MarcoAntonio Escreveu:Isto não é muuito diferente de como funciona o nosso cortex visual, já agora.


Imagem



Pois é, um dia destes estamos obsoletos e vamos para o campo plantar batatas...
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 16:38

Um exemplo giro e visual e que serve para ilustrar uma boa parte do que estou a dizer são por exemplo as redes convolucionais (CNN) para reconhecimento facial uma vez que podemos visualizar os pesos que neste caso constituem filtros (e que, embora não passem de números/pesos dentro da rede, podem ser literalmente visualizados).

Uma rede de reconhecimento facial não tem explicitamente guardadas as feições de ninguém mas sim um conjunto de filtros que lhe permite distinguir as pessoas umas das outras. É interessante porque de forma natural (emergente) a rede aprende a identificar numa face feições que estão associadas às formas das sobrancelhas, do nariz (e, depois, em layers mais à frente, formas do rosto, etc).

Isto não é muuito diferente de como funciona o nosso cortex visual, já agora.


Aqui vai:

Imagem
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 16:35

Sim, mas de uma forma indirecta (e não explícita como numa BD).

A pior parte é que nós nem sabemos bem como é que está guardada (salvo nalguns casos, por sinal o mecanismo de attention pode ser utilizado para isso, para perceber o que é que a rede valoriza, por exemplo).
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 16:22

MarcoAntonio Escreveu:A rede não é uma base de dados (pelo menos nos entido em que se utiliza base de dados em tecnologias da informação) mas uma rede de neuronios que estão ligados entre si e onde as ligações têm pesos (que foram determinados durante o treino). A rede neuronal é mais uma "calculadora" (os dados com que operam chamam-se tensores na giria, o que a rede faz é operar estes tensores).


Interessante, realmente tinha ideia que se tratava de um agregador de pesquisas que depois compilava essa informação.


Ou seja não é uma base de dados relacional, nem de objectos, mas no fundo acaba por ser uma base de dados neuronal. Mesmo assim os dados de certa forma estão lá, mas não é determinístico (existe uma probabilidade de error mesmo em condições técnicas perfeitas(de SW e HW), coisa que numa base de dados relacional não acontece).

Isto é de certa forma a informação do primeiro homem a chegar à lua, a data que chegou, o tamanho da bota que usou, o material do fato lunar acaba por estar toda contida na própria rede? :shock:
Anexos
neural_database.JPG
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 16:08

BearManBull Escreveu:Também entendo que a cada iteração (epoch)


Nota importante: uma iteração não é uma epoch. Uma iteração é apenas um ciclo em que são fornecidos alguns dados à rede (tipicamente, uma batch ou mini-batch de dados). Uma epoch é repetir tantas iterações quantas as necessárias para percorrer todo o dataset (e tipicamente, no fim da epoch, as batches são reordenadas ou recriadas para que a rede não volte a ver o dataset todo exactamente da mesma forma que na epoch anterior).



BearManBull Escreveu:os neurônios se reorganizam na rede de forma a que normalmente se aumenta a probabilidade de dispararem um resultado que nos interessa.


Bom, os neuronios não se reorganizam, mais precisamente o que se são recalculados são os pesos associados às ligações entre neuronios.



BearManBull Escreveu:Deixa-me ver se me explico. Normalmente teríamos uma varias imagens de números de 1 a 9. Este é o dataset e para treinar dizemos este desenho corresponde a 1, (...)


Sim, se for supervisionado. Em treino não supervisionado não é dado groundtruth à rede.



BearManBull Escreveu: (...) podendo depois passar várias imagens com caligrafias de várias pessoas para existir maior variedade. Isto constitui o treino. Ou seja no modelo clássico o treino é uma associação entre imagens e os valores contidos nessas imagens.


Exacto, a ideia geral é essa, neste caso estás a descrever uma rede a ser treinada para uma tarefa de classificação (mas há outras variantes).



BearManBull Escreveu:Quando a rede está pronta e em modo inference passamos a alimentar a rede com uma imagem (vista previamente ou não) e solicitamos à rede qual é o numero que está na imagem.


É isso.



BearManBull Escreveu:Ora agora temos um sistema diferente, temos redes alimentadas com dados de internet. No treino não existe uma tabela entre o que é esperado para um dado input.


Bom, o que estas redes estão treinadas é para remapear de uma pergunta (input) para uma resposta (output) utilizando linguagem natural. Estão treinadas para gerar uma conversa plausível. Aprenderam isso a ler textos retirados da web e de outras fontes. Mas na verdade não fazem a mínima do que é que as palavras querem dizer, o que elas aprenderam foram probabilidades - ou melhor, likelihoods - para palavras (ou tokens) em sequências de texto. No paper que partilhei do GPT estão lá as loss function.



Então a rede é um base de dados per se também? Ou seja se perguntar quem foi o primeiro navegador a chegar ao Brasil, essa informação está contida na própria rede? Ou é algo que está numa base de dados externa que a rede tem acesso de alguma forma, nem que seja um interface com a google?


A rede não é uma base de dados (pelo menos no sentido em que se utiliza base de dados em tecnologias da informação) mas uma rede de neuronios que estão ligados entre si e onde as ligações têm pesos (que foram determinados durante o treino). A rede neuronal é mais uma "calculadora" (os dados com que operam chamam-se tensores na giria, o que a rede faz é operar estes tensores).

Num chatbot como o ChatGPT a informação de quem chegou ao brasil não está em lado nenhum, não está armazenada. Realmente o que a rede aprendeu a fazer é a relacionar as palavras "brasil", "navegador", "chegada", etc.

Agora, para melhorar isso, a rede por ir buscar info à web e que poderá ser utilizado também como input.
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 16:03

Aproveito para partilhar novamente o tal video, penso que é do melhor que vi sobre o assunto. Mas claro não faz referencia às techs do GTP.


“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 15:53

De algum conhecimento de redes neuronais que até partilhei aqui um vídeo que explicava mais ou menos como funcionava (noutro tópico para modelos básicos, não transformers), percebo mais ou menos o conceito de dataset, trainning e inference. Também entendo que a cada iteração (epoch) os neurônios se reorganizam na rede de forma a que normalmente se aumenta a probabilidade de dispararem um resultado que nos interessa.

Deixa-me ver se me explico. Normalmente teríamos uma varias imagens de números de 1 a 9. Este é o dataset e para treinar dizemos este desenho corresponde a 1, podendo depois passar várias imagens com caligrafias de várias pessoas para existir maior variedade. Isto constitui o treino. Ou seja no modelo clássico o treino é uma associação entre imagens e os valores contidos nessas imagens.

Quando a rede está pronta e em modo inference passamos a alimentar a rede com uma imagem (vista previamente ou não) e solicitamos à rede qual é o numero que está na imagem.

Ora agora temos um sistema diferente, temos redes alimentadas com dados de internet. No treino não existe uma tabela entre o que é esperado para um dado input.


A rede neuronal para funcionar não precisa de acesso a uma base de dados nem a dados per se (a não ser o input, claro).


Então a rede é um base de dados per se também? Ou seja se perguntar quem foi o primeiro navegador a chegar ao Brasil, essa informação está contida na própria rede? Ou é algo que está numa base de dados externa que a rede tem acesso de alguma forma, nem que seja um interface com a google?
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 15:42

Agora, para completar a minha descrição anterior e analogia, nada impede que a rede neuronal dentro do veiculo e que já está treinada, aceda à internet para obter informação actual do transito para decidir por onde há-de ir (com base em informação real time).

Não é muito diferente do que nós próprios fazemos. Aprendemos a conduzir com um "treino" (modelo de condução). Entretanto ouvimos na radio (notícia) que a estrada x está bloqueda e incorporamos essa informação para tomar uma decisão na hora.
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 15:22

BearManBull Escreveu:Ok então suponho que não sô o GTP foi treinado com dados até 2021 como a rede que foi gerada tem acesso a uma base de dados até 2021?

Ou seja existe uma separação entre aquilo que é a rede AI e os dados propriamente ditos.


Os dados de treino são denominados de dataset. Não é uma base de dados, mas um conjunto de dados preparados para treino (se o treino for supervisionado, por exemplo, os dados podem estar emparelhados com labels, que constituem o groundtruth). A rede neuronal para funcionar não precisa de acesso a uma base de dados nem a dados per se (a não ser o input, claro). O objectivo da rede neuronal é remapear de um input para um output (dividem-se essencialmente em dois grandes grupos, classification e regression, mas no fundo o principio geral é sempre o mesmo). Durante o treino, o que a rede está a fazer é a aprender a função de remapeamento entre o input e o output. Já foi estabelecido salvo erro nos anos 80 (creio que já depois de se ter começado a utilizar funções de activação diferenciáveis) que uma rede neuronal (de tamanho arbitrário) consegue remapear qualquer função arbitrária, ie é um aproximador universal (ver também aqui). O que conduz a rede neuronal a aprender é uma função de custo (função objectivo, ou ainda loss function ou simplesmente loss, no inglês). Existem diferentes estratégias de treino, mas no final é sempre necessário uma função de custo a partir da qual é aplicado um algoritmo que corrige os pesos da rede em cada iteração [ver gradient descent (familia de algoritmos) e backpropagation (método como se actualizam os pesos, via derivadas parciais com respeito a cada um dos pesos/parametros da rede]. Este processo é muito intensivo e tipicamente envolve percorrer o dataset centenas de vezes (cada vez que se corre o dataset completo, denomina-se uma epoch). Isto está tudo muito sintético mas já está aqui muito do essencial e que serve para "desmistificar" o que é uma rede neuronal e o que é que está realmente a fazer.



Um acrescento, que julgo que é pertinente. O ciclo de vida de uma rede neuronal divide-se essencialmente em dois estágios: training e inference. Numa fase estamos a (tentar) garantir que o modelo faz o que se pretende, na outra estamos meramente a utiliza-lo quando já está pronto. Training é quando o modelo é treinado, ie é quando o modelo aprende a fazer o que se pretende que ele faça, sendo que é treinado com um dataset (poderás pensar nisso como o modelo sendo um automóvel autonomo, o treino é quando ele está na fábrica a ser construido/produzido incluindo modelizar as redes neuronais que o controlam). Inference é quando se utiliza o modelo treinado para fazer finalmente o que se pretende que ele faça (poderás pensar no inference como trazer o veículo para a via pública para se conduzir sozinho). Aqui, o dataset não é utilizado (o que é utilizado são novos cenários reais de transito).


Edit:

O paper a que me estava a referir aqui ou aqui (é de 1988/89).


Abstract:

Imagem
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 15:01

Ok então suponho que não sô o GTP foi treinado com dados até 2021 como a rede que foi gerada tem acesso a uma base de dados até 2021?

Ou seja existe uma separação entre aquilo que é a rede AI e os dados propriamente ditos.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 13:49

Penso que isto vai ajudar bastante a perceber que essa questão não é um problema (dificuldade) fundamental, que não é necessário estar constantemente a treinar a rede neuronal e que o que é realmente necessário é construir o sistema ad hoc para isso e treina-lo (optimiza-lo, ie fine-tuning) também para a nova tarefa, que será agora um pouco diferente:

O objectivo de uma rede neuronal não é propriamente "decorar" os dados com que foi treinada mas sim ser capaz de generalizar e produzir respostas tão certas/precisas quanto possível para novos dados, diferentes daqueles com que foi treinada.


(aliás, decorar os dados com que foi treinada é um "defeito" e é denominado de "overfitting"; a incapacidade de generalizar e o "overfitting" estão intimamente ligados).



Na prática, podes imaginar o sistema como algo como isto:

Agora (ChatGPT)

Considera o conteúdo desta notícia (e copias e colas o texto de notícias acabadinhas de sair). O que concluis sobre x?

Depois (outro qualquer chatbot treinado para o efeito e com acesso à internet)

O que é que se passa com x?

(ao que o chatbot faz uma pesquisa à internet a propósito da questão, junta as duas infos - o que é mais ou menos o mesmo que o passo único anterior e constituem o novo input para a rede neuronal - e produz uma resposta em linguagem natural que contém info actualizada)
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 13:31

BearManBull Escreveu:Se a google quiser incorporar o Bard suponho que esta AI terá sempre um delay de 2 semanas, ou seja imaginando este caso se eu pregunta-se ao Bard sobre alguma informação sobre o terramoto na Turquia, ficava sem resposta...

Portanto a minha pregunta é, como é que se pode contornar este problema?


Simples, o resultado da pesquisa ao google (search engine, que está actualizado) é um dos inputs para a rede neuronal.
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 10:11

MarcoAntonio Escreveu:
BearManBull Escreveu:E treino em real time?


Como assim treino em real time?



Uma rede demora x tempo a treinar com um set de dados, vamos assumir que o Bard demora 2 semanas.


Se a google quiser incorporar o Bard suponho que esta AI terá sempre um delay de 2 semanas, ou seja imaginando este caso se eu pregunta-se ao Bard sobre alguma informação sobre o terramoto na Turquia, ficava sem resposta...

Portanto a minha pregunta é, como é que se pode contornar este problema?

A google actualmente funciona mais ou menos em real time, dependendo da fonte actualiza os resultados quase instantaneamente. Podem fazer a experiencia com uma manchete da CNN fazer uma pesquisa google e mesmo para machetes com 10m consegue-se logo ter resultado. Se for uma manchete um jornal português pode demorar mais algum tempo (1 hora ou mais).


Tks pelos links o machinelearningmastery é bastante interessante.
Anexos
google_real_time.JPG
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 1:42

Um bom lugar para acompanhar:

(que não sei se já conheces, na verdade não sei qual é o teu background nem quanto já sabes/conheces sobre redes neuronais)

https://towardsdatascience.com/


Um blog bastante bom também aqui:

https://machinelearningmastery.com/blog/

(ver aqui para attention e transformers por exemplo)


Para começar a mergulhar no tópico, o blog é provavelmente melhor. O towardsdatascience é mais focado em artigos e é bom para acompanhar o que vai saindo, mas não sei se é o melhor para esclarecer e aprender, especialmente para quem estiver a começar (além de que muitos artigos não são de acesso livre). Em todo o caso, são ambos links de excelente qualidade. No youtube confesso que não tenho referências pois não costumo utilizar (sei que há lá excelente material, incluindo palestras por exemplo, mas só utilizei em situações pontuais e não tenho assim nenhum canal para sugerir).
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 8/2/2023 1:37

BearManBull Escreveu:E treino em real time?


Como assim treino em real time?
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 8/2/2023 1:29

MarcoAntonio Escreveu:Conforme referi em posts anteriores, estes modelos não aprendem realmente durante a interacção connosco. Muito embora possam usar informação da sessão corrente, nomeadamente da sessão de chat - têm acesso às respostas e interacções anteriores dentro da sessão - o modelo não está a aprender durante estas utilizações, não tem essa capacidade nem é dessa forma que estes modelos funcionam.


E treino em real time?

Também seria mais interessante algo mais visual, os papers tens de estar já bastante por dentro. :-"

No youtube não encontro nada decente que explique os módulos e conceitos deste tipo de AI.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 7/2/2023 21:40

O Prometheus também vai utilizar a tecnologia desenvolvida pela OpenAI (a Microsoft alega que é um upgrade do GPT-3.5). Para já, parece que só se consegue colocar algumas questões pré-definidas (já é possível fazer o download, mas não experimentei).


Estão a lançar ferramentas que não estão prontas, basicamente é aquilo que eu referia mais atrás no tópico, como consequência do terramoto viral do ChatGPT, vão começar a tornar mais público e evidente o que estão a desenvolver, em vez de desenvolverem à porta fechada e libertarem os produtos quando estão realmente prontos para consumo (note-se que o ChatGPT também não é propriamente um produto acabado, é "utilizável" mas neste momento é um "brinquedo").
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por Opcard » 7/2/2023 21:25

“O sistema desenvolvido para a Microsoft foi batizado de Prometheus e será «muito mais poderoso» do que o ChatGPT.

Para além da função de pesquisa, é todo o navegador Edge que será optimizado com grandes golpes de IA, um verdadeiro «co-piloto» para múltiplas operações: escrever textos, resumir documentos, comparar conteúdos...

A chegada da inteligência artificial generativa foi um verdadeiro terremoto no mundo da tecnologia, forçando o Google a reagir: o concorrente também anunciou a chegada de um chatbot nas próximas semanas. «A corrida começa hoje», disse Satya Nadella, chefe da Microsoft.”
 
Mensagens: 4383
Registado: 14/3/2009 0:19
Localização: 16

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 7/2/2023 19:25

Apesar do nome (OpenAI), talvez seja justo dizer que se sabe tanto ou mais publicamente sobre o LaMDA quanto sobre o GPT. Ambos se baseiam em Transformers (que é assim tipo o último grito em redes neuronais e está a suplantar outras arquitecturas NN que vinham sendo utilizadas para este tipo de tarefas). Aqui fica um paper da Google com bastante informação sobre o LaMDA. Para os mais leigos em Machine Learning (o ramo da AI onde estas tecnologias se inserem), bastará dizer que entre o GPT e o LaMDA, não há nenhuma diferença "astronómica", são modelos primos (ie, aparentados) um do outro.

LaMDA: Language Models for Dialog Applications

Aqui fica um paper sobre o GPT da OpenAI:

Improving Language Understanding by Generative Pre-Training




Mais atrás coloquei aquilo que se julga que foi utilizado para treinar o GPT (que eu tenha conhecimento, a OpenAI não esclareceu explicitamente o que é que usou, os números resultam da investigação de outros researchers). No paper a Google refere o que é que utilizou, aqui fica para comparação. Segundo estes dados, o dataset utilizado no Lamda é um bom pedaço maior; ambos utilizaram documentos em várias línguas, mas primariamente o inglês (cerca de 90% no caso do LaMDA).

Imagem



O LaMDA demorou quase dois meses a ser pre-treinado. Segundo um paper de 2021 o GPT-3 demorou cerca de duas semanas (para além de diferenças de hardware, note-se que foi treinado com um dataset menor).



Conforme referi em posts anteriores, estes modelos não aprendem realmente durante a interacção connosco. Muito embora possam usar informação da sessão corrente, nomeadamente da sessão de chat - têm acesso às respostas e interacções anteriores dentro da sessão - o modelo não está a aprender durante estas utilizações, não tem essa capacidade nem é dessa forma que estes modelos funcionam.
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 7/2/2023 18:43

Nesta peça do The Verge resume precisamente aquilo que tenho estado a apontar aqui. Quanto ao "bard", parece tratar-se de uma expansão da versão do LaMBDA já disponível para beta testers desde o ano passado (AI test kitchen).

Google announces ChatGPT rival Bard, with wider availability in ‘coming weeks’

The rushed announcement and lack of information about Bard are telltale signs of the “code red” triggered at Google by ChatGPT’s launch last year. Although ChatGPT’s underlying technology is not revolutionary, OpenAI’s decision to make the system freely available on the web exposed millions to this novel form of automated text generation. The effects have been seismic, with discussions about the impact of ChatGPT on education, work, and — of particular interest to Google — the future of internet search.



A ver se amanhã há mais novidades interessantes...
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 7/2/2023 13:32

O ChatGPT nada sobre a guerra da ucrania nas condições actuais, foi treinado com dados até 2021. Ele especula sobre acontecimentos, por isso podes sempre colocat a questão. Mas fica o alerta de que ele não dispõe de dados actuais.
Bons Negócios,
Marco Antonio
Caldeirão de Bolsa

FLOP - Fundamental Laws Of Profit


1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
....amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38080
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por Marco Martins » 7/2/2023 13:14

Qual a reposta que o chatgpt3 dá em relação ao conflito da Ucrânia?
Quais as probabilidades da Rússia invadir massivamente a Ucrânia e qual a probabilidade de outros países se envolverem?
 
Mensagens: 6416
Registado: 7/4/2007 17:13
Localização: Algarve

AnteriorPróximo

Quem está ligado: