Este artigo já tem uns tempos, mas vale a pena repescar a propósito dos temas da
black box, explainability e
interpretability.
Black-box vs. white-box modelsO que está aqui subjacente é um trade-off entre modelos mais simples, fáceis de explicar/entender mas que resultam em modelizações grosseiras (menos precisas) dos sistemas que queremos modelizar vs modelos mais complexos (difíceis de explicar/entender) capazes de replicar de forma (mais) precisa os sistemas que pretendemos modelizar.
Nos anos recentes, os resultados têm aparecido primeiro e as explicações/interpretações depois. Para estes modelos cutting-edge, a "teoria" vai correndo atrás dos resultados. Os novos modelos são, frequentemente, propostos com base em insights empiricos (inspiração em modelos biológicos, por exemplo, tem sido frequente, mas não só) e não com base numa robusta teoria que suporte a expectativa do que vai ocorrer.
Se o que queremos é entender o sistema, preferimos os primeiros. Se o que queremos é resultados, preferimos os segundos. E temos previgiliado os resultados...
Se bem me recordo, o artigo não cobre essa questão, mas não há garantia que o modelo mais preciso replique de forma mais precisa os "inner workings" do sistema original que pretendemos modelizar (e.g., o desempenho do chatgpt não é uma garantia de que nos estejamos a aproximar de uma AGI semelhante à nossa, da mesma forma que a síntese de voz da Alexa - que é espetacular - não está mais próxima da forma como nós produzimos fala quando comparado com modelos biomecânicos, articulatórios, etc, que não "soam" tão bem quanto a Alexa).