Meta do Governo para peso das exportações no PIB mais longínqua

[BearManBull]

No CM de hoje.

Não entendi o que pretendia com o artigo, mas parece-me mais um a oferecer resistência á mudança.

Estas techs podem aumentar significativamente a produtividade em grande parte dos trabalhos de escritório e é isso que se deve explorar.

[MarcoAntonio]

Um projecto open source que permite treinar modelos ChatGPT-like. No limite é possível treinar um modelo num computador único com apenas uma gráfica (naturalmente, um modelo bastante mais pequeno). O grupo reclama ter introduzido diversas melhorias computacionais que permitem acelerar o processo em modelos de larga escala (o que à partida vai permitir/facilitar que surjam clones do ChatGPT).

Repositório no Github:

https://github.com/hpcaitech/ColossalAI

(note-se que o ponto de partida são modelos pre-treinados, dos quais estão vários disponíveis publicamente)

[MarcoAntonio]

Que artigo horrível...

[Caramelo]

No CM de hoje.

[Opcard]

Sam Altmano

Nas conferências e meios especializados ligados ao empreendedorismo já era um nome da casa, mas recentemente ganhou ainda mais atenção quando o mundo começou a “brincar” com o ChatGPT. Em dois meses ganhou 100 milhões de utilizadores e cimentou a influência da OpenAI, a sua criadora, e um dos vários projetos paralelos de Altman.

Aos oito anos já sabia programar um Macintosh. Depois teve escorbuto de trabalhar tanto. Agora, além de carros e dinheiro, tem uma reserva de ouro, armas, antibióticos e iodo: teme uma crise nuclear

https://observador.pt/especiais/um-empr ... o-chatgpt/

[MarcoAntonio]

É normal, ele não gera sempre a mesma coisa.

Indirectamente, o meu ponto é que é preciso ver bem o que se está a pedir e o que ele implementa (de uma forma geral, ele produz algo próximo do que pedimos, frequentemente é funcional ou quase... mas também por vezes produz algo que não é bem o que queremos ou pedimos). Mesmo como está, ele tende a produzir um esqueleto que já é aproveitável e já poupa tempo (muito embora, como eu referi no outro post, a OpenAI em colaboração com o GitHub já disponibiliza um serviço dedicado (pessoalmente não me dei ainda ao trabalho de experimentar).

[BearManBull]

Se tiveres {()()} é invalido. (num IDE algo assim devia ser valido, mas não foi o que lhe pedi).

No teu enunciado isso não está especificado e diz apenas "contains" (o que é verdade para este exemplo que acabaste de dar).





Aliás, no código que ele está a implementar se calhar para essa string vai retornar True também (mas não estou a ver o código completo e quanto a isso, a esta hora da noite, já não digo nada). Do que se vê, o comportamento da stack deverá ser este:

{ -> {
( -> {(
) -> {
( -> {(
) -> {
} -> _

(à esquerda o caracter iterado no ciclo for; à direita o resultado na stack em cada iteração; e o _ no fim significa que a stack fica vazia)

Talvez tenhas razão mas não consigo gerar novamente o mesmo código exactamente para testar.

De qualquer forma o mais interessante para mim foi o facto de ter a abordagem correcta ao problema.

[MarcoAntonio]

Como uma imagem vale por mil palavras, roubo do wiki para ilustrar.

[MarcoAntonio]

É mais correcto dizer esta IA (ou esta forma de IA).


(tecnicamente, trata-se de Machine Learning / Deep Learning e há inclusivamente quem defenda que não devia ser incluído como IA)

[Opcard]

Estive a ler um artigo dobre IA , na sua opinião será a nível militar que mais influencia haverá irá modificar a morfologia do combate .

E diz :

Que a IA não será mais que a soma das informações com que a alimentamos ela não tem pensamento nem tem nenhuma opinião, nesta parte fiquei mais tranquilo .

[MarcoAntonio]

Entretanto multiplicam-se as histórias dos comportamentos "estranhos" da versão do Bing, a que só alguns têm acesso. A Microsoft já reconheceu de forma indirecta os problemas num blog post na quarta-feira (aqui).

A versão do Bing tem uma certa tendência para "se passar", incluindo tornar-se verbalmente agressivo com o utilizador e outros comportamentos deveras estranhos (para não dizer, nalguns casos, macabros até).


Microsoft Defends New Bing After AI Chatbot Offers Unhinged Responses

Microsoft’s Bing AI plotted its revenge and offered me furry porn

[MarcoAntonio]

Se tiveres {()()} é invalido. (num IDE algo assim devia ser valido, mas não foi o que lhe pedi).

No teu enunciado isso não está especificado e diz apenas "contains" (o que é verdade para este exemplo que acabaste de dar).





Aliás, no código que ele está a implementar se calhar para essa string vai retornar True também (mas não estou a ver o código completo e quanto a isso, a esta hora da noite, já não digo nada). Do que se vê, o comportamento da stack deverá ser este:

{ -> {
( -> {(
) -> {
( -> {(
) -> {
} -> _

(à esquerda o caracter iterado no ciclo for; à direita o resultado na stack em cada iteração; e o _ no fim significa que a stack fica vazia)

[MarcoAntonio]

Estou a ver uma unidade central da empresa que substitui a parafernália de sistemas que existem actualmente. Tipo um mainfraime omnipotente.

Os ChatGTPs são os IDE do futuro. Uma rede treinada com agentes em todo o SW de uma empresa imagino que pode ser autossustentável. Capaz de manter e criar bases de dados ou interfaces para o utilizador.

Para programadores/developers, já existe isto inclusivamente:

https://github.com/features/copilot

[BearManBull]

O código está bem (por acaso é mais ou menos assim que os IDE validam se os parênteses fecham todos corretamente).

Se tiveres {()()} é invalido. (num IDE algo assim devia ser valido, mas não foi o que lhe pedi).
({()}] é invalido.
({()}) é válido.
{{[[(())]]}} é válido.

O que queria validar era se usava a Stack para resolver o problema em vez de usar ciclos for.

[MarcoAntonio]

Ele está a considerar que o input é exactamente o que colocaste no fim (o que dá para customizar com um input do user, por exemplo). Fazia mais sentido ele (apenas) escrever o código em que a string de input passava como argumento no método.

O enunciado não especifica (e o código não se vê completo) mas parece que o que ele está a testar realmente é se a string só tem matched sets (podia ser essa a intenção ou não). Mas "contain" (conter) não implica que não contém nada mais além disso.

O codigo parece estar a implementar na base de "consists of".

[BearManBull]

Um dia destes não se instalam mais IDEs....

Estou a ver uma unidade central da empresa que substitui a parafernália de sistemas que existem actualmente. Tipo um mainfraime omnipotente.

Os ChatGTPs são os IDE do futuro. Uma rede treinada com agentes em todo o SW de uma empresa imagino que pode ser autossustentável. Capaz de manter e criar bases de dados ou interfaces para o utilizador.

[BearManBull]

Um exemplo em que recorre a um estrutura de dados mais indicada para resolver o problema.

Mais incrível que processa tudo, mesmo com erros ortográficos e gramaticais.

[MarcoAntonio]

Com algum trabalho, é possível po-lo a executar código (se pedires directamente, ele tende a recusar). Mas é possível.





Um dia destes não se instalam mais IDEs....

[BearManBull]

Mesmo assim é assombroso, consegue mesmo fazer programação dinâmica.

E deixa a explicação por baixo, só para deixar claro que não foi ao acaso.

[MarcoAntonio]

Em código, ele tende a ser bastante bom (melhor que em operações matemáticas, por exemplo). Está algures referido que uma parte do dataset é documentação de código e código propriamente dito. Linguagens que ele domina bem e é capaz de produzir código funcional ou quase incluem C, Java, Matlab, Python (a principal linguagem utilizada para o criar), SQL, etc.


Nota: o GPT-2 está disponível no github e encontra-se escrito em Python.

[BearManBull]

Bem fiz uns testes para ver se a maquina sabe programar o resultado é deveras impressionante.

[MarcoAntonio]

Aqui fica um artigo sobre um campo de aplicação diferente (CV, computer vision) e que envolve treinar redes que aprendem a classificar qualitativamente imagens com base em classificações subjectivas dadas por labelers humanos (para dessa forma superar o que é possível com métricas objectivas e/ou atingir resultados que são melhores do ponto de vista dos humanos):

Deep Image Quality Assessment

In rating participants are asked to assign a single score to the image from a pre-defined scale. Rating results depend on the selection of images for the experiment and training procedure. At the same time, ranking is much simpler as it asks a simple question — which image is better. A big drawback of ranking is a large number of possible comparisons. I have also had a chance to work with methods of efficient pair selection for ranking experiments and discussed the general pipeline in this article.

Poderás achar que uma coisa é classificar textos e outra classificar imagens, mas na verdade é fundamentalmente a mesma coisa. Os labelers vão tentar seguir as indicações dadas pelos developers mas vão classificar as imagens (ou os textos) de uma forma que é inerentemente subjectiva e que resulta da sua própria percepção individual. O método de recorrer a pools de sujeitos de teste que apreciam diferentes resultados extravasa o Machine Learning e é utilizado também noutras áreas como o processamento e/ou compressão de imagem ou som, nomeadamente; uma métrica ou standard amplamente utilizada dá pelo nome de Mean Opinion Score (MOS). Hoje em dia estas técnicas já não se usam só para tentar determinar qual é o melhor algoritmo para uma determinada tarefa mas inclusivamente para treinar redes neuronais que são capazes de "imitar" (ou substituir) os humanos nesse processo.

[MarcoAntonio]

Ninguem disse o contrario mas não deixa de ser engenhoso para caracterizar algo tao subjectivo como é a qualidade de um chat.

Sim, mas isto é bastante mais normal do que me parece que estás a supor. Os modelos em diversas áreas são sistematicamente avaliados com métricas subjectivas e metricas objectivas (basicamento tudo o que tenha que ver com percepção, em última instância o que interessa mesmo nem são as métricas objectivas mas sim as subjectivas). Incluindo treinar modelos para classificar ou treinar outros modelos.

Quanto ao CdB estar ou não incorporado, de momento pode não estar, suponho que a seu tempo irá eventualmente estar. É a expectativa que tenho, uma IAG vai incorporar os pensamentos de toda a gente. E não vamos ter ilusões, o objectivo, que também se refere no video, é que se consiga gerar uma IAG é para isto que se tenta caminhar.

Isto é motivo de grande debate. A ideia/objectivo de longo-prazo é criar uma inteligência artificial geral. Mas se é meramente uma questão de escala ou não ou se falta ainda algum elemento que ainda nem sequer identificamos, isso na realidade não se sabe.

O que me parece evidente é que em relativamente pouco tempo vai começar a ser difícil distinguir se já chegamos lá ou não (isto remete também para os temas do turing test, chinese room e afins e são motivo de aceso debate).

[BearManBull]

Fiz referencia por ser curioso realmente como ele refere o problema. Ao certo é muito difícil sequer definir o que é um chat dar uma resposta adequada.

O exemplo que poem num jogo é fácil, quanto maior o score melhor portanto é fácil dar essa baliza à rede a ser treinada.

No caso de um chat, o que raios é um chat que dá respostas adequadas? Pois parece que é aquilo que um grupo de pessoas identifica como adequado. E foi este conceito que foi incorporado no RM reward model que mencionaste.

O Reinforcement Learning é apenas a última fase do treino (por esta altura o modelo já está largamente treinado)

Ninguem disse o contrario mas não deixa de ser engenhoso para caracterizar algo tao subjectivo como é a qualidade de um chat.

Uma coisa é ter um robot que dá saltos outra é um que dá um mortal e aterra com braços estendidos. No vídeo faz uma referencia desse estilo.


Quanto ao CdB estar ou não incorporado, de momento pode não estar, suponho que a seu tempo irá eventualmente estar. É a expectativa que tenho, uma IAG vai incorporar os pensamentos de toda a gente. E não vamos ter ilusões, o objectivo, que também se refere no video, é que se consiga gerar uma IAG é para isto que se tenta caminhar.

[MarcoAntonio]

Acho que vale a pena deixar este exemplo também porque de certa forma permite visualizar o RM já em funcionamento. O que esta tabela apresenta é o diferencial do reward atribuido pelo RM que ocorre quando um humano altera (edita) uma resposta.




(para que não haja confusão, este segundo quadro não diz respeito ao treino mas à validação)