Caldeirão da Bolsa

off-topic - ajuda num problema estatístico/probabilistico

Espaço dedicado a todo o tipo de troca de impressões sobre os mercados financeiros e ao que possa condicionar o desempenho dos mesmos.

por nunofaustino » 13/11/2006 12:58

Queria agradecer mais uma vez a quem tem participado neste tópico...

As pessoas da área informática a quem tinha pedido ajuda já me deu alguns resultados, mas eu agora queria confirmar que eles são de facto os que se esperava que fossem...

Eles calcularam quantas bolas eu necessito de tirar caso houvessem entre 200 e 300 cores diferentes tendo obtido um valor relativamente constante de oversampling necessário de 7.5x, ou seja, caso tivesse 200 cores teria de fazer cerca de 1500 tiragens, para 250 cores 1900 bolas e para 300 2300 bolas. Eu não espero que este factor de 7.5 se mantenha constante (com o aumentar do número de cores, a probabilidade de tirar bolas de outras cores aumenta e por isso o oversampling tb terá de aumentar). No entanto, antes de lhes pedir para testar números mais elevados (cada teste que eles fazem demora cerca de uma horita para 300 cores) gostava de ter a certeza que os valores que eles me estão a indicar são os correctos.

Vou ter de fazer algumas continhas à mão (obrigado pela fórmula Fernando... mandei-te um mail a pedir mais algumas explicações :oops:).

Bender... obrigado pelo teu problema, mas quando eu coloco um número de bolas elevado (100.000.000) ou o computador pára ou o programa encrava e não consigo chegar a uma resposta final... e eu não queria utilizar valores muito mais pequenos pois depois tirar 100.000 bolas de um saco com 10.000.000 de bolas já é uma percentagem perceptível no número de bolas total (cerca de 1%)... será que este problema pode ser resolvido? (penso que não).

Um abraço
Nuno
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal

Nova correcção

por Hari Seldon » 10/11/2006 10:19

A fórmula saiu errada outra vez!!! :twisted:

Cá vai outra tentativa

Abraço

Hari Seldon (FdA)
Anexos
Nuno.bmp
Nuno.bmp (156.81 KiB) Visualizado 1296 vezes
"Never let your sense of morals prevent you from doing the right thing."

Salvor Hardin
Avatar do Utilizador
 
Mensagens: 4
Registado: 19/5/2004 16:53
Localização: Trantor

FdA

por Hari Seldon » 10/11/2006 10:09

Obviamente, sou o Fernando dos Aidos.

Abraço

FdA
"Never let your sense of morals prevent you from doing the right thing."

Salvor Hardin
Avatar do Utilizador
 
Mensagens: 4
Registado: 19/5/2004 16:53
Localização: Trantor

correcção

por Hari Seldon » 10/11/2006 10:07

Caro Nuno,

Desculpa mas há uma gralha na minha expressão. Falta um factor (-1)^k dentro do somatório. Deixo ficar a expressão na imagem.

Abraço

Fernando dos Aidos
Anexos
Nuno.bmp
Nuno.bmp (156.81 KiB) Visualizado 1317 vezes
"Never let your sense of morals prevent you from doing the right thing."

Salvor Hardin
Avatar do Utilizador
 
Mensagens: 4
Registado: 19/5/2004 16:53
Localização: Trantor

Problema fds?

por Fernando dos Aidos » 10/11/2006 0:52

Olá Nuno,

hehehe, isto já parece quase um problema fds do Marco. Devias ter esperado pelo fim de semana para o colocar.

Não tenho tempo agora para pormenores, mas o resultado que eu obtive para a probabilidade de, tirando N bolas do saco, não faltar nenhuma cor (n é o número total de cores em que claro e escuro contam como cores diferentes) é

soma para k entre 0 e n do produto de combinações de n k a k com (1-k/n)^N

Experimentei para valores baixos e pareceu-me que estava bem. Agora se te vai ser útil ou não é que não sei pois, para um dado n (respectivamente N), tens de igualar a 0,99 e calcular o valor de N (respectivamente n).

Se for isto o que procuras, eu posso deixar-te uma explicação para a fórmula no fim de semana.

Um abraço

Fernando dos Aidos
Avatar do Utilizador
 
Mensagens: 620
Registado: 5/11/2002 2:26

por Bender » 9/11/2006 14:22

nunofaustino Escreveu:Neste momento os colegas de inf. do lab ao lado criaram um programinha que me está a fazer amostragens aleatórias, o que me irá permitir saber qual o valor esperado para 100 cores, 200 cores, 1000 cores.


Nuno, pensei que já tinha o problema resolvido informaticamente.. tens aqui um pequeno programa que faz a simulação do problema.

O único limite que encontro é que apenas permite simular 200.000.000 de bolas, por limitação da plataforma de 32-bit :) . Se quiseres disponibilizo-te o código fonte (+/- 40 linhas)

Abraço,
Bender
Anexos
Bolas.zip
(19.22 KiB) Transferido 239 Vezes
Avatar do Utilizador
 
Mensagens: 378
Registado: 12/2/2004 18:57

por nunofaustino » 9/11/2006 13:13

Mais uma vez obrigado a quem me está a ajudar...

Neste momento os colegas de inf. do lab ao lado criaram um programinha que me está a fazer amostragens aleatórias, o que me irá permitir saber qual o valor esperado para 100 cores, 200 cores, 1000 cores.

Eles ainda não me deram respostas, por isso ainda não posso confirmar se a fórmula do Cem dá os valores aproximados aos dados pelo computador.

Quando tiver mais alguma informação digo alguma coisa...

Um abraço
Nuno
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal

por MarcoAntonio » 8/11/2006 20:52

Segundo a última vez que falamos, ele disse-me que os colegas da informática tinha chegado a 1.600 para 100 cores.

Portanto, aparentemente, essa formula já está mais próxima do que ele pretende.
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 41946
Registado: 4/11/2002 22:16
Localização: Porto

Re

por Cem » 8/11/2006 20:42

Amigo Marco:
Com essas características o caso muda de figura, uma vez que se pretende que uma dada amostragem inclua todas as cores em simultâneo.
Nesse caso proponho a fórmula abaixo:
(1-1(2.X))^n < 0,01.0,99^(2.X-1)
em que.
X = número de cores (escura e clara é apenas 1 cor)
n = número de bolas tiradas
Daria as seguintes soluções:
X = 1 , n = 7
X = 2 , n = 17
X = 3 , n = 26
...
X = 50 , n = 558
...
X = 100 , n = 1318
...
etc, etc.
Espero lá ter ficado próximo desta vez. :roll:
Abraço.
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

por MarcoAntonio » 8/11/2006 20:01

O Nuno quer garantir que estão lá todas as cores (até é preferível nem falar de escuros e claros porque aumenta a confusão). O que ele quer garantir é que para n cores (ao todo), numa amostra aleatória de 100.000 bolas, nessa amostra não falta nenhuma cor.

O problema resolve-se para quantidades de cor pequenas e amostras pequenas e aumenta tremendamendamente de complexidade à medida que se aumenta o número de cores. Isto foi um problema que ele já me apresentou ontem e eu sugeri que ele resolvesse estatisticamente com um computador (coisa que pelo que ele me disse os colegas dele da informatica já estão a fazer e já obtiveram resultados para 100 cores).


Eu vou deixar só alguns exemplos, para a resolução «manual»:

Para n cores e uma amostra de n bolas (o n tá repetido propositadamente, amostras mais pequenas não interessa pois é certo que vai faltar uma ou mais cores) temos que a probabilidade de faltar uma ou mais cores é:


n^n - n!
---------- ..
.. n^n .......


(n levantado a n menos n factoriaal sobre n levantado a n)

Para 3 cores, se aumentarmos L (tamanho da amostra) de cada vez temos de multiplicar o numerador por n-1 e somar 3 e o denominador multiplicar por n. Repetir isto de cada vez que se aumenta L (calculo iterativo).

Para 4 cores, esse factor deixa de ser constante e torna-se ainda mais complexo.

Trata-se portanto de um racio da amostra L para L+1 que não é constante e que depende do número de cores (só é constante - e igual a 0.5 - quando o numero de cores é 2 e aí o problema é muito simples).


Exemplificando para 4 cores e 6 lançamentos temos que P=62% (2536/4096) e chegar a este exemplo já deu bastante trabalho. À medida que se aumentam os valores fica matematicamente intratável.

Só para concluir, ele não quer que ao fim de 100.000 bolas esteja lá a cor A com um grau de certeza de 99%. Quer que estejam todas em simultaneo (isto é, que não falte nenhuma).

Note-se que eu posso garantir com um grau de certeza de 99% que está lá a cor A mas isso não me garante que isso aconteceu para todas as cores (isto é, que está lá também nos mesmos 99% das amostras também a cor B, C, D, E, etc...).
Imagem

FLOP - Fundamental Laws Of Profit

1. Mais vale perder um ganho que ganhar uma perda, a menos que se cumpra a Segunda Lei.
2. A expectativa de ganho deve superar a expectativa de perda, onde a expectativa mede a
__.amplitude média do ganho/perda contra a respectiva probabilidade.
3. A Primeira Lei não é mesmo necessária mas com Três Leis isto fica definitivamente mais giro.
Avatar do Utilizador
Administrador Fórum
 
Mensagens: 41946
Registado: 4/11/2002 22:16
Localização: Porto

Re

por Cem » 8/11/2006 19:41

- Amigo Bender:
Mas é claro, isso concordo, na prática 1 cor são 2 cores, se tivermos azuis e amarelos as "4" cores seriam amarelo claro, amarelo escuro, azul claro e azul escuro.
Segundo entendi não haverá problema na saída de bolas repetidas.
Abraço.
- Amigo Nuno:
Estou a tentar perceber melhor a tua questão, segundo entendo se sair um azul claro tem de haver 99% de probabilidades de sair um azul escuro na tiragem em causa, mas também entendo que isso nada tem a ver com a relação de saída dos amarelos claros e escuros nessa mesma tiragem, não é assim?! Os amarelos seriam outra guerra...
Se for esse o entendimento creio que o facto de haver uma probabilidade de 1% de não sair uma dada cor significa que há 99% de probabilidades de sair nessa tiragem qualquer outra cor à escolha, seja clara ou escura.
Assim sendo, partindo do princípio que uma dada amostragem de bolas daria uma probabilidade de não saída de pelo menos uma bola azul clara em 1% dos casos, significa que haveria 99% de probabilidades de nessas amostragens em que não sai uma bola azul clara haver sempre pelo menos 1 bola azul escura.
Nessa situação a fórmula poderia ser corrigida, no caso de existência de mais de 1 cor (para 1 cor basta aplicar a fórmula anterior que propus que pelos vistos forneceu o valor correcto de 7 bolas nesse cenário) para:
(1-1/(2.X))^n=0,0099
Nesse caso, teríamos para X=2 (2 cores) n=17 (17 bolas), X=3 teríamos n=26, para X=50 teríamos n=460, etc, etc.
Já agora agradecia que confirmasses se pelo menos na solução para X=2 e X=3 os valores estão certos...
Abraço e espero que ao menos essa pesquisa de números de linfócitos resulte num Nobel...da medicina (ou das matemáicas também serve, e aí pagas uma rodada ao pessoal)!
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

por Bender » 8/11/2006 18:31

Amigo Cem, permita-me discordar.

1. as bolas claras/escuras podem ser reduzidas a mais uma cor, ou seja se temos 3 cores, reduzimos o problema a 3*2 = 6 cores, ignorando a "raça" das bolas. é só um aparte, que simplifica o problema.

2, supondo então 2 cores, com 100 bolas, há 50 de cada cor, com 100k , há 50k de cada cor, o que aumenta a probabilidade de saírem bolas de cores repetidas, isto mantendo fixo o tamanho da amostra. no caso extremo que referiu, com 2 bolas ( sem reposição, da forma como entendo a formulação) , é garantido sucesso logo à 2 bola, já com 100k, não o é

Abraço,
Bender
Avatar do Utilizador
 
Mensagens: 378
Registado: 12/2/2004 18:57

por nunofaustino » 8/11/2006 18:21

Obrigado à RP, ao Cem e ao Bender por tentarem responder.

Cem, penso que a resposta não estará correcta... penso que estás a calcular é o número de bolas que eu necessito de tirar para uma determinada cor sair em 99% dos casos... por exemplo, imaginando que eu tenho bolas azuis e vermelhas, tu estás a calcular a probabilidade de eu não tirar uma azul clara é de 1%, a de eu não tirar uma azul escura é tb de 1%, a de eu não tirar uma vermelha clara é tb de 1% e a de eu não tirar uma vermelhas escura é tb de 1%. Para além disso, vai existir alguma sobreposição entre estas opções (posso não tirar nem bolas azuis claras nem azuis escuras) e por isso o valor vai ser ligeiramente inferior aos 4%, e a probabilidade de eu ter as 4 cores nas 17 bolas é superior a 96%...

Ou seja, a resposta ainda n é essa :(

Qto ao concurso das bolas, infelizmente (ou tvz não) isto é mesmo uma situação de trabalho que estamos a tentar aumentar o número de "bolas" analizadas em cada experiência, mantendo a garantia que estamos a ver todas as "bolas"...

Um abraço
Nuno
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal

Re

por Cem » 8/11/2006 18:15

Amigo Bender:
Creio que o número total de bolas é irrelevante para o caso.
Vê o caso mais simples de apenas uma cor, a experiência resultaria quer tivesses no saco um valor excessivamente elevado, por exemplo 200 milhões de bolas (100 milhões escuras e 100 milhões claras), ou apenas 2 bolas (1 escura e 1 clara) havendo apenas neste caso de repôr e baralhar a bola no saco após cada tiragem.
Evidentemente que neste segundo tipo de experiência terias de ter pelo menos 1 bola clara e uma bola escura de cada cor no saco, repondo sempre de novo a bola tirada para dentro do saco. Para 10 cores teria de haver 20 bolas na experiência com reposição.
Abraço.
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

por jeso » 8/11/2006 18:08

Tanto trabalho só para acertar no Euromilhões... ora bolas! :wink:
Avatar do Utilizador
 
Mensagens: 1154
Registado: 24/6/2006 12:52
Localização: Via Lactea

por Bender » 8/11/2006 18:02

desculpa lá Cem, mas a tua fórmula não tem em conta o número total de bolas, ou em alternativa o número de bolas de cada cor, e esse valor é importante.

Nuno, só fazendo uma pequena script, para calcular esse valor.. não deve ser muito complicado...

Abraço,
Bender
Avatar do Utilizador
 
Mensagens: 378
Registado: 12/2/2004 18:57

Re

por Cem » 8/11/2006 17:16

Segundo umas contas rápidas, para 100000 bolas poderás ter 10857 cores diferentes e para 200000 bolas podes ter, se as contas estão correctas, 21714 cores diferentes.
isto significa que o número de cores tende para um limite no infinito sensivelmente igual ao número de bolas a dividir por 9,2106475.
Repara que para 1 cor essa relação é de 7 , para 2 cores é de 8,5 (=17/2), para 3 cores é de 8,67 ,..., para 50 cores ( e não 100 como disse abaixo; 2x50=100 ) é de 9,18 (=459/50), etc, vai-se aproximando rapidamente do limite dos 9,2106475.
Abraço, espero que tenhas vencido o concurso das bolas :-) .
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

Re

por Cem » 8/11/2006 16:30

Correcção da equação, falta aí um parêntesis:
(1-1/(2.X))^n<0,01
Abraço, espero ter ajudado.
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

Re

por Cem » 8/11/2006 16:27

Caro Nuno:
Fazendo um esforço de memória para recuperar a matéria de Métodos Estatísticos dos tempos longínquos da universidade, creio que a solução do problema é a equação que satisfaz as seguintes condições:
(1-1/(2.X)^n<0,01
em que:
n = número de bolas necessárias para sair
X = número de cores
Por exemplo, para X=1 tens n=7, X=2 tens n=17, X=3 tens n=26, ... , X=100 tens n=459, etc...
Abraço e boa sorte.
Cem
 
Mensagens: 715
Registado: 18/4/2003 1:58

cálculo da amostra

por Razao_Pura » 8/11/2006 15:33

Trade the trend.
Avatar do Utilizador
 
Mensagens: 1673
Registado: 5/11/2002 19:00
Localização: 24

por nunofaustino » 8/11/2006 14:18

não me expliquei bem...

a minha questão é saber quantas cores diferentes (X1, X2, X3, Xn) é que eu posso colocar no saco de modo a que, quando for fazer uma amostra aleatória de Y bolas (y pode ser 10.000, 100.000 ou 200.000) conseguir tirar (com 99% de certeza) uma bola escura e outra de cor clara para todas as cores que lá estão dentro.

Por exemplo, se eu só tiver bolas vermelhas dentro do saco, eu necessito de tirar 7 bolas para ter 99% das vezes ter tirado uma bola vermelha escura e outra vermelha clara. A questão agora é ao contrário... sabendo que posso fazer 10.000 amostras, quantas cores posso ter dentro do saco...

Espero que agora me tenha feito entender...

Um abraço
Nuno
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal

por Bender » 8/11/2006 14:10

Oi Nuno, não sei se percebi bem o problema, mas diria que o número de cores é irrelevante (1 cor seria suficiente).

Com 100m de bolas amarelas claras e outros 100m amarelas escuras, ao tirar 10k, através de um processo "justo", a diferença entre as claras e escuras será < 1% (100 bolas) sempre, isto empiricamente. ou seja o numero de cores é irrelevante, desde que o nº bolas claras = nº bolas escuras.... provavelmente não é isso que procuras .... :roll:

Abraço,
Bender
Avatar do Utilizador
 
Mensagens: 378
Registado: 12/2/2004 18:57

off-topic - ajuda num problema estatístico/probabilistico

por nunofaustino » 8/11/2006 13:30

Estou com um problema estatítico/probabilístico no trabalho e necessitava que alguém me pudesse ajudar...

O problema pode ser traduzido deste modo "simples":

Imaginem que tenho um saco com 200 mil milhões de bolas. Metade dessas bolas são escuras e a outra metade são claras. A minha questão é a seguinte:

Quantas cores diferentes posso eu ter no saco sabendo que vou tirar 10.000 bolas diferentes e que se eu tirar uma bola amarela clara tenho (com 99% de probabilidade) de tirar uma bola amarela escura. Ou seja, se eu tirar uma bola amarela clara também quero tirar uma bola amarela escura.

E se eu tirar 100.000 bolas quantas cores posso eu passar a ter no saco?

E com 200.000 bolas?

Já agora, considerem que o número de bolas da cor X é igual ao número de bolas de cor Y, Z, M, F, ...

A solução que me deram até agora foi criar um programa que me simule este evento umas milhares de vezes de modo a eu poder estimar este valor, mas eu sou um bocado nabo nisso :oops:

Será que alguém conhece algum site onde possa fazer isto ou tenha alguma solução mais simples?

Um abraço e obrigado
Nuno Faustino
Avatar do Utilizador
 
Mensagens: 5157
Registado: 5/11/2002 5:10
Localização: Portugal


Quem está ligado:
Utilizadores a ver este Fórum: Google [Bot], m-m, Masterchief e 63 visitantes