Qdownloader

Espaço dedicado a todo o tipo de troca de impressões sobre os mercados financeiros de uma forma genérica e a todo o tipo de informação útil que possa condicionar o desempenho dos mesmos

Moderadores: pata-hari, Ulisses Pereira, MarcoAntonio

Re: Qdownloader

por VirtuaGod » 25/2/2018 23:17

rsacramento Escreveu:já agora: através da tuas fontes consigo ter tudo? quero dizer futuros, forex, europeias, índices de todos os tamanhos e feitos?


A ideia é essa. Mas facilmente podes pesquisar o que tem acesso. Neste momento é "só" Yahoo finance: https://help.yahoo.com/kb/SLN2310.html

Quando fizer a integração com o quandl vai abrir todo um mundo novo, seja pelo uso da KEY pessoal seja por ter acesso a muitas outras coisas. https://www.quandl.com/search?query= (clicar em free do lado esquerdo)

Tenho ainda alguma dificuldade na Europa, estilo eurostoxx 50 (a yahoo finance só fornece o fecho) isto porque quem lhes fornece os dados são casas diferentes:

    . Historical chart data and daily updates provided by Commodity Systems, Inc. (CSI).
    . International historical chart data and daily updates provided by Morningstar, Inc.
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 25/2/2018 23:56

mas através do yahoo actualmente acedes ao CAC40, PSI20 e índices europeus. p. ex.?
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por VirtuaGod » 26/2/2018 0:03

rsacramento Escreveu:mas através do yahoo actualmente acedes ao CAC40, PSI20 e índices europeus. p. ex.?

Acções em OHLC ajustado a dividendos e splits. Indices só a valor de fecho
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 26/2/2018 0:07

thanks
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por VirtuaGod » 27/2/2018 2:59

@rsacramento Dava-te erro porque o símbolo da apple é AAPL e não APPL. Por isso é que a AMZN funcionou!! Ora testa AAPL sff
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 27/2/2018 9:30

VirtuaGod Escreveu:@rsacramento Dava-te erro porque o símbolo da apple é AAPL e não APPL. Por isso é que a AMZN funcionou!! Ora testa AAPL sff

deve ser isso mesmo; logo que chegue a casa testo e digo-te

Ab
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por VirtuaGod » 27/2/2018 17:50

BOOM 499 títulos do S&P 500 via quandl :shock: Por alguma razão que desconheço a 3M não está na base de dados (e nem é uma empresa pequena).

É cerca de 2 vezes mais lenta que a API da Yahoo. Demorou 2 minutos e 15 segundos a sacar 1 ano de histórico das 499 acções.

Ainda em fase de desenvolvimento mas em breve on-line :wink:
Anexos
Capture.PNG
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 27/2/2018 19:33

confirmo: tudo ok
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por VirtuaGod » 27/2/2018 20:57

Qdownloader actualizado.

    . Agora podem ver uma Tab em cima para o Quandl;
    . Dropdown menu para download em massa com Nasdaq 100 e S&P 500;
    . Não se esqueçam de colocar a vossa API Key :wink:

O S&P 500 não tem a 3M (MMM) e o Nasdaq 100 não tem 5 ou 6 símbolos que não estão na base de dados da Quandl. Por defeito o menu está para não fazer download em massa e deixar colocarem os tickers. Se seleccionarem outra opção do menu o slot dos "Tickers" é sobreposto e aparecem os tickers numa caixa cinzenta. São esses os tickers que estão a sacar. Têm na mesma de clicar em "Download quotes" mas pode demorar um pouco.

Para voltarem a "abrir" o slot de downloads a vulso têm de seleccionar "No" no menu de "Mass Download"

Testem primeiro o download normal e só depois passem para os downloads em massa :wink:
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por VirtuaGod » 28/2/2018 0:39

Qdownloader já tem futuros 8-)

Deixo em baixo exemplo com WTI Crude Futures, Continuous Contract: https://www.quandl.com/data/CHRIS/ICE_T1-WTI-Crude-Futures-Continuous-Contract
Anexos
Capture.PNG
Capture.PNG (34.02 KiB) Visualizado 1868 vezes
Capture1.PNG
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por VirtuaGod » 28/2/2018 1:23

Os meus testes demonstram que só funcionam com futuros que tenham OHLC

Eventualmente farei uma versão que funcione com os contractos que só tenham "settle"
Anexos
Capture.PNG
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 28/2/2018 14:30

grande mérito nesse trabalho!

és incansável

mais uma vez parabéns
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por LoneWolf » 28/2/2018 14:39

VirtuaGod Escreveu:BOOM 499 títulos do S&P 500 via quandl :shock: Por alguma razão que desconheço a 3M não está na base de dados (e nem é uma empresa pequena).

É cerca de 2 vezes mais lenta que a API da Yahoo. Demorou 2 minutos e 15 segundos a sacar 1 ano de histórico das 499 acções.

Ainda em fase de desenvolvimento mas em breve on-line :wink:


Parabens VG! Grande trabalho!

Isso também faz para as bolsas euronext?

Cumprimentos!
LW
Avatar do Utilizador
 
Mensagens: 438
Registado: 29/4/2015 16:02

Re: Qdownloader

por António Vieira » 28/2/2018 15:54

Antes de mais, parabéns VG!

Grande trabalho e partilha!

Os contratos de futuros do Brent, qual é o Ticket? ICE_T1?
Dá erro. Será este?

Obrigado
 
Mensagens: 66
Registado: 14/12/2014 20:38

Re: Qdownloader

por VirtuaGod » 28/2/2018 17:28

és incansável

Tem de ser. Para aproveitar o tempo livre + motivação. Nunca sei bem quando qualquer um deles volta :mrgreen: (e normalmente têm de voltar juntos para eu me dedicar a estes projectos). O projecto ainda nem vai a meio do que tenho planeado :roll:

LoneWolf Escreveu:Isso também faz para as bolsas euronext?

Sim. Apanha muitas coisas da Euronext. Por enquanto só através yahoo finance. Pesquisa no google a acção que queres e se tiver na yahoo finance (com histórico) vai funcionar ;-)

Quero ver se depois faço uns menus que deem para escolher "acções portuguesas", "Cac 40" etc etc mas ainda só mais lá para a frente.

Os contratos de futuros do Brent, qual é o Ticket? ICE_T1?
Dá erro. Será este?

É sim. O erro será provavelmente do teu lado pois acabei de testar com sucesso. Tens de seguir exactamente os passos na imagem acima onde saquei exactamente os dados que pretendes.

    . Colocar API Key da Quandl
    . Escolher data
    . Escolher a base de dados correcta (esta eu volta e meio esqueço-me :mrgreen: )
    . Ticker é mesmo o ICE_T1
    . Clicar em "Download quotes"
    . Dar nome ao ficheiro e clicar em "Download file"
    . Usar o conversor do metastock como explicado no post da pata-hari (ver primeira página em caso de dúvidas)

P.S. Para terem uma API Key da Quandl têm de se registar na Quandl. O exemplo que lá vêm a cinza leve é mesmo só um exemplo para verem o formato das API Keys. Não é uma API Key real.
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por António Vieira » 28/2/2018 18:43

Desculpa a ignorancia, mas onde obtenho a API Key??
 
Mensagens: 66
Registado: 14/12/2014 20:38

Re: Qdownloader

por António Vieira » 28/2/2018 19:12

afinal, já consegui pedir uma API Key. Não sei se expirou a outra que tinha....Tem validade?

Já agora, o historico do Brent é at+e 2006?

Muito obrigado VG e desculpa as questões.

parabéns mais uma vez
 
Mensagens: 66
Registado: 14/12/2014 20:38

Re: Qdownloader

por VirtuaGod » 28/2/2018 20:36

Desconheço se tem validade.

É provável que quem se registe agora tenha de pedir uma ou quem tem uma antiga perca validade se por exemplo não usou há mais de um ano. Eu uso a minha já há mais de um ano (acho eu) mas uso-a semi regularmente. De qualquer das formas acho que é um processo super simples e é só preciso clicar no botão de "Request a new API Key".

O crude tem imensos futuros. Crude, brent etc etc Podes ver aqui a colecção: https://www.quandl.com/collections/markets/crude-oil

Entretanto descobri um desde '93 com o ticker ICE_B1 que funciona bem com o Qdownloader: https://www.quandl.com/data/CHRIS/ICE_B1-Brent-Crude-Futures-Continuous-Contract

Infelizmente a versão com histórico desde '83 não funciona: https://www.quandl.com/data/CHRIS/CME_CL1-Crude-Oil-Futures-Continuous-Contract-1-CL1-Front-Month

Ainda estou a pensar como lidar com estas diferentes versões desta base de dados de futuros e automatizar o máximo do processo de download. Queria ver se consigo colocar o sistema a "descobrir" qual é o formato dos dados e proceder de forma diferente para cada um deles.
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por VirtuaGod » 28/2/2018 23:08

Pequeno update do dia

Pequeno mas não pouco importante :mrgreen: Agora ao sacar os dados podem ver um indicador de progresso do vosso download :wink: Para download em massa acho que é algo bastante útil!!

Ainda só está na quandl por causa dos downloads em massa mas depois coloco tb na yahoo.

Abr
Anexos
Capture.PNG
Capture.PNG (31.99 KiB) Visualizado 1654 vezes
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por bigboytrader » 1/3/2018 14:40

VirtuaGod Escreveu:Pequeno update do dia

Pequeno mas não pouco importante :mrgreen: Agora ao sacar os dados podem ver um indicador de progresso do vosso download :wink: Para download em massa acho que é algo bastante útil!!

Ainda só está na quandl por causa dos downloads em massa mas depois coloco tb na yahoo.

Abr


Parabéns pelo excelente trabalho VirtuaGod :lol:

Abraço
Ou você tem uma estratégia ou é parte da estratégia de alguém." (Alvin Toffler)
Avatar do Utilizador
 
Mensagens: 34
Registado: 19/7/2011 22:46
Localização: 10

Re: Qdownloader

por VirtuaGod » 2/3/2018 0:22

Tive agora a testar a Tiingo.com e parece-me bastante promissora (mercado americano). É uma das fontes de dados do investing.com

Velocidade da yahoo finance com a qualidade da quandl :wink: Vem colmatar a falta de ETFs na quandl ao mesmo tempo que a excelente velocidade vai ser boa para downloads em massa. Parece-me que vai ser a próxima base de dados a ser acrescentada :!:
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por VirtuaGod » 2/3/2018 21:57

@rsacramento - Tens cotações da reuters? Se sim qual é o primeiro fecho ajustado da apple? Ando a comparar qualidade de dados :wink:

P.S. A data que pretendo é 1980-12-12
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por rsacramento » 2/3/2018 22:02

VirtuaGod Escreveu:@rsacramento - Tens cotações da reuters? Se sim qual é o primeiro fecho ajustado da apple? Ando a comparar qualidade de dados :wink:

P.S. A data que pretendo é 1980-12-12

não tenho dados US (excepto índices)
Avatar do Utilizador
 
Mensagens: 9723
Registado: 29/11/2007 12:50

Re: Qdownloader

por VirtuaGod » 2/3/2018 23:57

Então, de facto, a minha ferramenta não é para ti!! Ou então é :-) porque complementa aquilo que tens :mrgreen:

Update

O sistema já não pára de sacar quando dá erro. Continua a sacar os restantes tickers e dá um aviso de erro. Vejam que neste caso o ZZZ está no meio dos outros tickers e acabou por ser o único que não sacou (pk o ticker não existe :mrgreen: )
Anexos
Capture.PNG
Capture.PNG (16.21 KiB) Visualizado 1433 vezes
Artigos e estudos: Página repositório dos meus estudos e análises que vou fazendo. Regularmente actualizada. É costume pelo menos mais um estudo por semana. Inclui a análise e acompanhamento das carteiras 4 e 8Fundos.
Portfolio Analyser: Ferramenta para backtests de Fundos e ETFs Europeus

"We don’t need a crystal ball to be successful investors. However, investing as if you have one is almost guaranteed to lead to sub-par results." The Irrelevant Investor
Avatar do Utilizador
 
Mensagens: 5658
Registado: 20/11/2002 21:56
Localização: Porto

Re: Qdownloader

por António Vieira » 3/3/2018 11:15

VG,
engraçado que meto a API e se pedir os dados do ^gspc a resposta é " An error has occurred. Check your logs or contact the app author for clarification ".

mas se pedir o ICE_B1, já é possivel. Que te parece que é??
É que nos DAX é igual com o ticket ^GDAXI.

jà agoa para o historico do forex do iene e eur é possivel?

Obrigado e se puderes dar a tua opinião agradecia
 
Mensagens: 66
Registado: 14/12/2014 20:38

AnteriorPróximo

Quem está ligado:
Utilizadores a ver este Fórum: Bing [Bot], lfhm83, m-m, RenatormbCarvalho e 135 visitantes