Outros sites Medialivre
Caldeirão da Bolsa

A Revolução da Inteligencia Artificial

Espaço dedicado a todo o tipo de troca de impressões sobre os mercados financeiros e ao que possa condicionar o desempenho dos mesmos.

Re: Nuclear, fonte de energia "verde"

por MarcoAntonio » 22/1/2024 21:36

BearManBull Escreveu:Depende do contexto podem-se juntar 10.000 humanos e não chegam a uma fracção de todo o conhecimento disponível no GTP. E muito menos têm capacidade de responder em paralelo.


Ok, mas não é sobre isto que eu estou a falar. O ChatGPT até já poderá ser muito eficiente neste momento para executar determinadas tarefas mas tem ainda uma capacidade de raciocínio nula e ainda está muito longe da AGI que o Sam Altman pretende atingir (e que é provavelmente o que está por detrás do comentário dele sobre os custos futuros e a necessidade de um breakthrough energético para alimentar a futura IA). Ora, a verdade é que o ChatGPT continua a não passar de uma calculadora/estimador/previsor gigante (sendo discutível quanto - se é que foi alguma coisa! - nos aproximamos da AGI). E mesmo para chegar ao ponto de que estás a falar, aprendeu de forma extremamente ineficiente (precisamente porque não é uma AGI, teve aprender "martelando-lhe" a internet n vezes durante m semanas... basicamente, repescando o meu exemplo de trás, tal e qual como uma CNN precisa de ver o mesmo triangulo n vezes numa série de ordens diferentes e com n outras variações para aprender a identificar e a distinguir... aquilo que uma criança aprende vendo um ou dois exemplos; ou, no limite até, sem ver um único exemplo sequer, o que para nós humanos também é possível).

Em todo o caso, não discordo propriamente do que escreveste e esse ponto remete para outra questão (razão) porque provavelmente não faz grande sentido valorizar muito o que o Sam Altman disse acerca dos custos energéticos futuros da AI: seja ela mais estupida ou mais inteligente, quando a tecnologia estiver amadurecida* também teremos cenários em que a utilização da AI possivelmente vai permitir poupar energia (basta que seja mais eficientes que os processos/tarefas que vem substituir).


* (o que ainda não é o caso, especialmente no que diz respeito a modelos cutting-edge tipo os LLM's... ainda estão na infância)
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: Nuclear, fonte de energia "verde"

por BearManBull » 22/1/2024 20:55

MarcoAntonio Escreveu:Nós somos extraordinariamente mais eficientes que isto. Nós, humanos, temos AGI e conseguimos fazer muito mais por muito menos.


Depende do contexto podem-se juntar 10.000 humanos e não chegam a uma fracção de todo o conhecimento disponível no GTP. E muito menos têm capacidade de responder em paralelo.

A AGI pode eventualmente vir a existir num modelo divergente do humano. De certa forma é melhor que assim seja...
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: Nuclear, fonte de energia "verde"

por MarcoAntonio » 22/1/2024 17:35

Já agora, só dois apontamentos muito rápidos.

O hardware faz parte do stepping stone / breakthrough anterior: o acesso ao big data e a capacidade de paralelização (hardware) foi basicamente o que nos trouxe até aqui a estas redes gigantes. Basicamente colmatamos a falta de breakthroughs noutras áreas da investigação/desenvolvimento de IA com o agigantamento dos modelos (o que nos foi possível graças à capacidade de processar e ao acesso a quantidades colossais de dados, o que passa precisamente em parte pela evolução no plano do hardware).

E o que eu penso que está a faltar é breakthroughs na capacidade de "reasoning" por parte dos modelos, o que possivelmente poderá ter de passar por repensar as arquiteturas das redes / modelos a um nível fundamental.



Entretanto talvez seja melhor passar estes últimos posts para o tópico da IA.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: Nuclear, fonte de energia "verde"

por perneta » 22/1/2024 17:30

MarcoAntonio Escreveu:
perneta Escreveu:Não necessariamente o que? Maiores modelos AI mais consumo energético, correcto? (teoricamente)


Os modelos estão a crescer exponencialmente em parte porque são muito ineficientes. Se ocorrer um breakthrough que permita implementar modelos mais eficientes (e há espaço para isso, muito espaço para isso) então a IA poderá não vir a consumir tanta energia como ele imagina (suspeito que a visão dele estará enviezada até pelo próprio facto de ele ser proponente de e estar na ponta do desenvolvimento destas redes incrivelmente ineficientes).



perneta Escreveu:Claro que existirão formas de reduzir esse consumo. Não só na forma como se implementam mas no hardware necessário para esses modelos. Se o hardware se tornar mais eficiente poderá reduzir o custo energético.

PS- não sou nenhum especialista...


Em termos de "breakthrough" dificilmente será pela via do hardware, terá mesmo de ser pela via dos modelos. A propósito do teu post scriptum e em tom de disclaimer, tenho por sinal experiência e especialização na área - em ML/DL - muito embora não tenha nunca trabalhado especificamente com modelos de processamento de linguagem natural [NLP] mas sim noutras áreas de aplicação.


Bom, mas vamos lá ver, o que a OpenAI (e outros players) estão a tentar atingir é o que denominados de AGI. O benchmark para uma AGI somos nós, os humanos. E por mais fantásticos e revolucionários que pareçam os resultados destas redes gigantes (os LLM's) não só claramente ainda não são AGI como são incrivelmente menos eficientes do que nós. Ou seja: muito mais estúpidos do que nós, ao ponto de podermos alegar que não são realmente inteligentes e muito mais gulosos do que nós em termos energéticos. Ora, não há qualquer garantia que sejam realmente o caminho para a AGI. Há um grande debate sobre isso e há quem defenda que a AGI acabará por aparecer de forma emergente neste tipo de modelos à medida que ficam cada vez maiores... e há até quem alegue que não se devia chamar sequer inteligência, que Machine/DeepLearning não são realmente "inteligência".

Eu pessoalmente suspeito que são parte do caminho mas que nos faltam ainda elementos chave. A verdade é que não sabemos. No entanto, há formas intuitivas de ilustrar como estes sistemas são ao mesmo fantáticos/promissores e ao mesmo tempo ainda incrivelmente estúpidos. Veja-se, a título de exemplo, o processo de aprendizagem: isto é, como nós aprendemos e como as redes neuronais aprendem (leia-se, como são treinadas).


Quantos triangulos diferentes precisaste de ver (e quantas vezes precisaste de ver as mesmas figuras geométricas) até aprenderes a reconhecer a "classe" triangulo e a reconhecer um triangulo de qualquer forma e feitio? Uma rede neuronal... bom, uma CNN (convolutional neural network) que é especialmente adequada e eficiente para tarefas de reconhecimento de imagem hoje até aprende em segundos. Mas precisa de ver literalmente milhares de exemplos e no fim, é tudo o que consegue fazer, distinguir as classes em que foi treinada e nem pensar em tarefas completamente diferentes da qual em que foi treinada. Por outro lado, um modelo gigante, eventualmente um LLM com um módulo de aquisição de imagem será mais flexível e até poderá ter um desempenho mais "semelhante ao nosso".... mas com o ónus de ter sido preciso treina-lo literalmente com meia internet (quantidades colossais de dados) e vezes sucessivas ao longo de várias semanas (o que tu não precisaste de fazer nem uma vez sequer!).

Nós somos extraordinariamente mais eficientes que isto. Nós, humanos, temos AGI e conseguimos fazer muito mais por muito menos. Estou convencido que nos faltam ainda descobrir breakthroughs que nos permita implementar inteligência artificial de forma mais eficiente. Mais depressa acreditaria que no futuro vamos ter uma AGI a consumir o que hoje consome um laptop do que nós esgotarmos a energia solar ou coisa que o valha para criar essa AGI. Mas claro que também não acredito que o caminho para isso seja a iteração n não sei quantos do ChatGPT (que não será bem o que o Sam Altman está a dizer, mas está lá perto e está como que implícito).


Obrigado pelos inputs que são interessantes!

Achei este video muito interessante: https://www.youtube.com/watch?v=5tmGKTNW8DQ
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Re: Nuclear, fonte de energia "verde"

por MarcoAntonio » 22/1/2024 16:41

perneta Escreveu:Não necessariamente o que? Maiores modelos AI mais consumo energético, correcto? (teoricamente)


Os modelos estão a crescer exponencialmente em parte porque são muito ineficientes. Se ocorrer um breakthrough que permita implementar modelos mais eficientes (e há espaço para isso, muito espaço para isso) então a IA poderá não vir a consumir tanta energia como ele imagina (suspeito que a visão dele estará enviezada até pelo próprio facto de ele ser proponente de e estar na ponta do desenvolvimento destas redes incrivelmente ineficientes).



perneta Escreveu:Claro que existirão formas de reduzir esse consumo. Não só na forma como se implementam mas no hardware necessário para esses modelos. Se o hardware se tornar mais eficiente poderá reduzir o custo energético.

PS- não sou nenhum especialista...


Em termos de "breakthrough" dificilmente será pela via do hardware, terá mesmo de ser pela via dos modelos. A propósito do teu post scriptum e em tom de disclaimer, tenho por sinal experiência e especialização na área - em ML/DL - muito embora não tenha nunca trabalhado especificamente com modelos de processamento de linguagem natural [NLP] mas sim noutras áreas de aplicação.


Bom, mas vamos lá ver, o que a OpenAI (e outros players) estão a tentar atingir é o que denominados de AGI. O benchmark para uma AGI somos nós, os humanos. E por mais fantásticos e revolucionários que pareçam os resultados destas redes gigantes (os LLM's) não só claramente ainda não são AGI como são incrivelmente menos eficientes do que nós. Ou seja: muito mais estúpidos do que nós, ao ponto de podermos alegar que não são realmente inteligentes e muito mais gulosos do que nós em termos energéticos. Ora, não há qualquer garantia que sejam realmente o caminho para a AGI. Há um grande debate sobre isso e há quem defenda que a AGI acabará por aparecer de forma emergente neste tipo de modelos à medida que ficam cada vez maiores... e há até quem alegue que não se devia chamar sequer inteligência, que Machine/DeepLearning não são realmente "inteligência".

Eu pessoalmente suspeito que são parte do caminho mas que nos faltam ainda elementos chave. A verdade é que não sabemos. No entanto, há formas intuitivas de ilustrar como estes sistemas são ao mesmo fantáticos/promissores e ao mesmo tempo ainda incrivelmente estúpidos. Veja-se, a título de exemplo, o processo de aprendizagem: isto é, como nós aprendemos e como as redes neuronais aprendem (leia-se, como são treinadas).


Quantos triangulos diferentes precisaste de ver (e quantas vezes precisaste de ver as mesmas figuras geométricas) até aprenderes a reconhecer a "classe" triangulo e a reconhecer um triangulo de qualquer forma e feitio? Uma rede neuronal... bom, uma CNN (convolutional neural network) que é especialmente adequada e eficiente para tarefas de reconhecimento de imagem hoje até aprende em segundos. Mas precisa de ver literalmente milhares de exemplos e no fim, é tudo o que consegue fazer, distinguir as classes em que foi treinada e nem pensar em tarefas completamente diferentes da qual em que foi treinada. Por outro lado, um modelo gigante, eventualmente um LLM com um módulo de aquisição de imagem será mais flexível e até poderá ter um desempenho mais "semelhante ao nosso".... mas com o ónus de ter sido preciso treina-lo literalmente com meia internet (quantidades colossais de dados) e vezes sucessivas ao longo de várias semanas (o que tu não precisaste de fazer nem uma vez sequer!).

Nós somos extraordinariamente mais eficientes que isto. Nós, humanos, temos AGI e conseguimos fazer muito mais por muito menos. Estou convencido que nos faltam ainda descobrir breakthroughs que nos permita implementar inteligência artificial de forma mais eficiente. Mais depressa acreditaria que no futuro vamos ter uma AGI a consumir o que hoje consome um laptop do que nós esgotarmos a energia solar ou coisa que o valha para criar essa AGI. Mas claro que também não acredito que o caminho para isso seja a iteração n não sei quantos do ChatGPT (que não será bem o que o Sam Altman está a dizer, mas está lá perto e está como que implícito).
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: Nuclear, fonte de energia "verde"

por perneta » 22/1/2024 15:43

MarcoAntonio Escreveu:Não necessariamente. O que ele disse está de alguma forma incompleto porque outra alternativa é um breakthrough mas na forma como se implementam os sistemas de inteligencia artificial. O incremento do custo energetico ia acontecer de qualquer forma. Mas a explosão de que ele está a falar deve-se essencialmente à explosão da dimensão das redes neuronais (basicamente, no numero de parametros, para simplificar) sendo que os modelos que estão a ser implementados são muito ineficientes.

Isto ja tem sido abordado no topico da inteligencia artificial, se quiseres espreitar.


Não necessariamente o que? Maiores modelos AI mais consumo energético, correcto? (teoricamente)

Claro que existirão formas de reduzir esse consumo. Não só na forma como se implementam mas no hardware necessário para esses modelos. Se o hardware se tornar mais eficiente poderá reduzir o custo energético.

PS- não sou nenhum especialista...
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Nuclear, fonte de energia "verde"

por MarcoAntonio » 21/1/2024 18:54

perneta Escreveu:"Sam Altman on Tuesday said an energy breakthrough is necessary for future artificial intelligence, which will consume vastly more power than people have expected."

"There's no way to get there without a breakthrough," he said. "It motivates us to go invest more in fusion."


https://www.reuters.com/technology/open ... 024-01-16/



Não necessariamente. O que ele disse está de alguma forma incompleto porque outra alternativa é um breakthrough mas na forma como se implementam os sistemas de inteligencia artificial. O incremento do custo energetico ia acontecer de qualquer forma. Mas a explosão de que ele está a falar deve-se essencialmente à explosão da dimensão das redes neuronais (basicamente, no numero de parametros, para simplificar) sendo que os modelos que estão a ser implementados são muito ineficientes.

Isto ja tem sido abordado no topico da inteligencia artificial, se quiseres espreitar.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 19/1/2024 14:10

Já agora não confundir erro com más praticas premeditadas que colocam em causa a segurança e a ética como foi o caso da Boeing.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 19/1/2024 13:23

As tecnologias surgem com falhas isso é normal.

A aviação comercial é muito mais segura na actualidade do que há 50 anos. Nao consigo vislumbrar uma industria como a da aviação começar a estabelecer-se no seculo XXI. Era impossível. Os 3Ps estariam imediatamente contra algo que pode cair do céu a qualquer momento...

O problema é que a sociedade actual não tolera o erro tecnológico principalmente quando se trata de AI. Mesmo que seja em condições que um humano tenha maior probabilidade de errar.

O mais importante é que para haver desenvolvimento tecnológico tem de se tolerar o erro. O erro um faz parte do processo evolutivo de todas as tecnologias.

Uber after an accident in which one of its self-driving cars killed Elaine Herzberg in Phoenix, Arizona. The car was in autonomous mode, and its “operator” was accused of watching a TV show, meaning they did not notice when the car hit Herzberg, who had confused its computers by stepping on to the highway pushing a bike carrying bags on its handlebars. Fatally, the computer could not interpret this confusing array of objects.

Until then, Uber’s business model had been predicated on the idea that within a few years it would dispense with drivers and provide a fleet of robotaxis. That plan died with Herzberg, and Uber soon pulled out of all its driverless taxi trials.


Tesla is also in defence mode. It has long marketed its driver aid software as “full self-driving”, but it is nothing of the sort. Drivers must stay alert and ready to take over, even though the car can operate itself much of the time, particularly on motorways. In the US, where there have been numerous accidents with Teslas in “full self-driving” mode, the manufacturer is facing several lawsuits.

In the UK, Tesla will fall foul of the legislation introduced into parliament last month, which prevents companies from misleading the public about the capability of their vehicles. Tesla’s troubles have been compounded by the revelations from ex-employee Lukasz Krupski who claims the self-drive capabilities of Teslas pose a risk to the public. Manufacturers will be forced to specify precisely which functions of the car – steering, brakes, acceleration – have been automated. Tesla will have to change its marketing approach in order to comply. So, while the bill has been promoted as enabling the more rapid introduction of driverless cars, meeting its restrictive terms may prove to be an insuperable obstacle for their developers.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 19/1/2024 13:06

Robots que se movem a velocidades de caracol com motores fracos e uma carapaça anti choque.

Basta acontecer o primeiro acidente relevante para desaparecem do mercado.

O que realmente as novas capacidades de AI permitem é entrar na cozinha, isso sim penso que vai ser amplamente automatizado na hotelaria.

“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por perneta » 19/1/2024 12:41

BearManBull Escreveu:
perneta Escreveu:Acho que essa questão das crianças não será muito difícil de minimizar.


Minimizar é socialmente intolerável. Pelo menos no panorama actual.

Não podes ter um sistema que é minimizado em contexto social porque qualquer falha obriga a parar toda a operação.

Cruise recalls all self-driving cars after grisly accident and California ban

Isto é o grande problema em realizar automações mundanas. Qualquer sistema que envolve partes electro mecânicas em movimento fora de um ambiente controlado (industrial) vai estar sempre sob o total escurantismo dos 3Ps Politics/People/Press. Basta pensar no dia a dia quais são os poucos sistemas electro mecânicos (com partes moveis) automáticos usados em espaço publico, resume-se basicamente a elevadores, escadas rolantes e passadeiras.

Ter um braço mecânico robotizado em movimento num supermercado vai ser algo extremamente difícil de se conseguir adoptar massivamente.


Não é preciso ir muito longe e em Portugal ja vi vários casos de robots em contexto, social. Nomeadamente em restaurantes (a servir as mesas) e supermercados (limpeza).
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 19/1/2024 11:24

perneta Escreveu:Acho que essa questão das crianças não será muito difícil de minimizar.


Minimizar é socialmente intolerável. Pelo menos no panorama actual.

Não podes ter um sistema que é minimizado em contexto social porque qualquer falha obriga a parar toda a operação.

Cruise recalls all self-driving cars after grisly accident and California ban

Isto é o grande problema em realizar automações mundanas. Qualquer sistema que envolve partes electro mecânicas em movimento fora de um ambiente controlado (industrial) vai estar sempre sob o total escurantismo dos 3Ps Politics/People/Press. Basta pensar no dia a dia quais são os poucos sistemas electro mecânicos (com partes moveis) automáticos usados em espaço publico, resume-se basicamente a elevadores, escadas rolantes e passadeiras.

Ter um braço mecânico robotizado em movimento num supermercado vai ser algo extremamente difícil de se conseguir adoptar massivamente.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por perneta » 19/1/2024 1:29

BearManBull Escreveu:Vai ser um paraíso para ainda mais imbecis terem cargos políticos e outros se tornarem ainda mais parasitas.

Mas os que pertencem à humanidade vão ter oportunidades de sonho de poder trabalhar em áreas criativas.



O curioso falhanço da tecnologia de self check out.

'It hasn't delivered': The spectacular failure of self-checkout technology



Porque partilho isto?

Pelo desafio de integrar AI no contexto social. Uma tarefa tão repetitiva como a de simplesmente ler códigos de barra de produtos devia simples de automatizar.

E é. Quando em contexto industrial de ambiente controlado.

No contexto social é preciso ter outros cuidados. As pessoas têm comportamentos imprevisíveis, principalmente as crianças...

Imagine-se um robot numa caixa de supermercado que de alguma forma provoca alguma lesão a uma criança. Ou um robot de limpeza que atropela um paciente num hospital. Quem se vai responsabilizar?

Este é o grande desafio da AI. Esta é a nova revolução industrial, a automação em contexto social.

O maior desafio não são os aspectos técnicos mas sim os sociais de resistência á mudança.

Fica um vídeo dos potencias da tecnologia e do imediato conflito com os trabalhadores.



Acho que essa questão das crianças não será muito difícil de minimizar. Uma das grandes questões na minha opinião da IA será o seu impacto social em termos de substituição dos trabalhos. Será que queremos entrar num supermercado com apenas robots e tudo autónomo? sem qualquer tipo de contacto humano? será que queremos ir ao médico e sermos diagnosticados muito mais eficientemente por IA? sem qualquer tipo de contacto humano?
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 18/1/2024 20:43

Vai ser um paraíso para ainda mais imbecis terem cargos políticos e outros se tornarem ainda mais parasitas.

Mas os que pertencem à humanidade vão ter oportunidades de sonho de poder trabalhar em áreas criativas.



O curioso falhanço da tecnologia de self check out.

'It hasn't delivered': The spectacular failure of self-checkout technology



Porque partilho isto?

Pelo desafio de integrar AI no contexto social. Uma tarefa tão repetitiva como a de simplesmente ler códigos de barra de produtos devia simples de automatizar.

E é. Quando em contexto industrial de ambiente controlado.

No contexto social é preciso ter outros cuidados. As pessoas têm comportamentos imprevisíveis, principalmente as crianças...

Imagine-se um robot numa caixa de supermercado que de alguma forma provoca alguma lesão a uma criança. Ou um robot de limpeza que atropela um paciente num hospital. Quem se vai responsabilizar?

Este é o grande desafio da AI. Esta é a nova revolução industrial, a automação em contexto social.

O maior desafio não são os aspectos técnicos mas sim os sociais de resistência á mudança.

Fica um vídeo dos potencias da tecnologia e do imediato conflito com os trabalhadores.

“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por MarcoAntonio » 18/1/2024 20:03

Nova arquitectura que tem estado a dar que falar, com resultados promissores em várias áreas de investigação incluindo NLP (a área a que dizem respeito os LLMs): MAMBA.

O paper original:

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

A arquitectura deste novo modelo substitui o mecanismo de atenção (attention mechanism) no centro da arquitectura dos Transformers por um mecanismo de selecção no contexto de um modelo de espaço de estados (Selective SSM) obtendo resultados equiparáveis em termos de perplexity e de accuracy a modelos baseados em Transformer com o dobro de tamanho. Resultados que são muito promissores, apontando para a maior eficiência (e também menores custos/tempo de treino e de inferência) comparado com os modelos baseados em Transformers que têm dominado nos últimos anos.

A arquitectura ainda não foi testada com tamanhos gigantes tipo os do ChatGPT 3 e 4 mas os resultados com redes mais pequenas são já muito interessantes e apontam no sentido da escalibilidade.

---

Um resumo também aqui na primeira metade deste artigo:

Mamba, the ChatGPT Killer & The Great Deflation

---

Github do Mamba, disponível publicamente:

https://github.com/state-spaces/mamba

Imagem
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por MarcoAntonio » 11/1/2024 19:03

Este artigo remete para alguns posts meus aqui no tópico durante o ano passado, mas o tema é sempre actual.

LLMs Are Dumber Than a House Cat (Towards Data Science)



(...)

"We're easily fooled by those systems into thinking they are intelligent just because they manipulate language fluently.

The only example that we have of an entity that can manipulate language is other humans so when we see something that can manipulate language flexibly we assume that entity will have the same type of intelligence as humans but it's just not true.

Those systems are incredibly stupid.

Partly they are stupid because they are only trained on language and most of human knowledge has nothing to do with language.

To some extent the smartest AI systems today have less understanding of the physical world than your house cat."

— Yann Lecun, Chief AI Scientist for Facebook AI Research (FAIR).



(...)





(...)

Similar trends have been observed in other studies where developers, data practitioners, and business consultants became twice as fast in certain tasks when using LLMs. Output quality also increased.

You'll see a lot of "Can LLMs replace a Data Scientist?" and "Can LLMs replace Developers?" For now, the answer to these questions is: No. LLMs won't replace you, but people who use LLMs will.

(...)

Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por perneta » 11/1/2024 2:30

MarcoAntonio Escreveu:Eu arriscaria a dizer que se os LAM funcionarem e forem o caminho no que diz respeito ao interface entre utilizadores e dispositivos/aplicações, então serão a seu tempo incorporados nos sistemas operativos basicamente a custo zero, substituindo os "assistentes" actuais...

Em todo o caso, a ideia é interessante mas requere ainda exploração. Concordo com ele que o actual interface dos telemovóveis (por exemplo) com o tempo tornou-se uma confusão e pouco, nada prático. Precisa de ser repensados. Mas o que precisamos mesmo é de repensar a interacção com os dispositivos/aplicações mesmo... e não de acrescentar mais um dispositivo na cadeia que não substitui os restantes.



Ainda assim, sempre é mais interessante que o AI Pin, que me parece não passar de um completo money grab à boleia da popularidade do ChatGPT.


É interessante, mas concordo que se pode ser integrado no smartphone, não faz muito sentido utilizar 2 dispositivo. É claro, não tirando o mérito a teenage engineering que apresenta sempre designs espetaculares.

Percebo a questão da interface, contudo, vejo aquilo mais numa perspectiva de complemento, como assistentes.
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por MarcoAntonio » 11/1/2024 1:38

Eu arriscaria a dizer que se os LAM funcionarem e forem o caminho no que diz respeito ao interface entre utilizadores e dispositivos/aplicações, então serão a seu tempo incorporados nos sistemas operativos basicamente a custo zero, substituindo os "assistentes" actuais...

Em todo o caso, a ideia é interessante mas requere ainda exploração. Concordo com ele que o actual interface dos telemovóveis (por exemplo) com o tempo tornou-se uma confusão e pouco, nada prático. Precisa de ser repensados. Mas o que precisamos mesmo é de repensar a interacção com os dispositivos/aplicações mesmo... e não de acrescentar mais um dispositivo na cadeia que não substitui os restantes.



Ainda assim, sempre é mais interessante que o AI Pin, que me parece não passar de um completo money grab à boleia da popularidade do ChatGPT.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por perneta » 11/1/2024 1:19

MarcoAntonio Escreveu:


Mais pela ideia e direcção do que pelo dispositivo em si, que duvido fortemente que vá funcionar tão bem quanto ele alega (e se chegar sequer ao mercado). Aliás, se funcionar e se realmente este (os LAM) for o caminho então não irá ser preciso um dispositivo ad hoc, será incorporado nos sistemas operativos dos dispositivos base como smartphones e PCs e pronto.


Está engraçada a ideia! Será mais pratico e económico, ser incorporado nos dispositivos.
"At Berkshire, we particularly favor the rare enterprise that can deploy additional capital at high returns in the future. Owning only one of these companies – and simply sitting tight – can deliver wealth almost beyond measure."
 
Mensagens: 183
Registado: 10/1/2018 16:32

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por BearManBull » 11/1/2024 0:30

$199 :mrgreen:

“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: ChatGPT 3 - A revolução da Inteligencia Artificial

por MarcoAntonio » 10/1/2024 19:18




Mais pela ideia e direcção do que pelo dispositivo em si, que duvido fortemente que vá funcionar tão bem quanto ele alega (e se chegar sequer ao mercado). Aliás, se funcionar e se realmente este (os LAM) for o caminho então não irá ser preciso um dispositivo ad hoc, será incorporado nos sistemas operativos dos dispositivos base como smartphones e PCs e pronto.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 4/1/2024 18:57

Teaching LLMs To Say, “I don’t know”

Instead of stating that it does not know, LLMs hallucinate. Hallucination can best be described as highly plausible, succinct & reasonable responses from a LLM, but which is factually incorrect.

Introduction

A few years back IBM Watson Assistant introduced functionality to define and detect user requests which falls outside of the chatbot’s domain. I believe this was one of the first forays into the realm of defining what the ambit of the chatbot was.

Chatbots in the early days were plagued by the problem of getting stuck on “Sorry, I can’t help you with that”. And subsequently encouraging the user to rephrase their input without any attempt from the chatbot to facilitate the progression of the conversation.

Fast Forward To LLMs

With Large Language Models (LLMs) we are on the other side of the spectrum, where the Conversational UI always responds with an answer and rarely says, I don’t know.

Compared to traditional chatbot architecture and performance, LLMs mesmerise us with their outstanding ability of fluency, coherence and ability to maintain context. But, LLMs are still likely to hallucinate unfaithful and nonfactual responses.

(...)



O artigo a que ele se está a referir:

R-Tuning: Teaching Large Language Models to Refuse Unknown Questions




Adenda/update

Survey com mais de 30 papers e diferentes métodos de mitigação da alucinação nos LLMs, incluindo o paper de cima:

A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por BearManBull » 27/12/2023 16:48

IA. New York Times processa OpenAI e Microsoft por usarem artigos do jornal para treinar modelos como o ChatGPT

É a nova moda agora querem todos ganhar dinheiro por dados de treino.

A China esfrega as mãos porque ali os NYT deste mundo fecham a boca e estão caladinhos.
“It is not the strongest of the species that survives, nor the most intelligent, but rather the one most adaptable to change.”
― Leon C. Megginson
Avatar do Utilizador
 
Mensagens: 8649
Registado: 15/2/2011 11:59
Localização: 22

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por Opcard » 14/12/2023 8:47

A Albânia vai utilizar a IA para transferir o acervo comunitário para a sua legislação na tentativa de adesão , poupado muitas dezenas de milhões de euros pois teria de pagar ao juristas linguistas a grande dúvida é se a Europa irá aceitar se aceitar, é uma revolução .

São na totalidade mais de 200 000 páginas , só para o chamado direito comunitário derivado 80 000 páginas , e cada ano são acrescentados 2 500 actos legislativos .

Se for aceita todos os outros países a espera de adesão farão o mesmo em média estes profissionais dia ganham 750 euros .
 
Mensagens: 4385
Registado: 14/3/2009 0:19
Localização: 16

Re: CHAT GPT3 - a revolução da Inteligencia Artificial

por MarcoAntonio » 7/12/2023 23:40

E já agora, não me recordo se chegou a passar aqui no tópico...

RT-2: New model translates vision and language into action
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 38083
Registado: 4/11/2002 22:16
Localização: Gaia

AnteriorPróximo

Quem está ligado:
Utilizadores a ver este Fórum: Arlos, Bing [Bot], Cem pt, Google [Bot], Lisboa_Casino, PAULOJOAO, psandrade e 168 visitantes