Per conservare la validità statistica dei risultati di un trading system è indispensabile effettuare tutte le operazioni esattamente come vengono proposte, purtroppo la frequente mancata conoscenza della costruzione
sottostante al sistema, provoca una certa disaffezione per il trading system quando non funziona, in particolare se il trader non conosce la costruzione logica del sistema automatizzato;
Si potranno verificare anche dei lunghi periodi durante i quali il sistema non ottiene buoni risultati a causa della sostanziale difficoltà e funzionare bene in ogni circostanza.
Il carattere del mercato, espresso dalla volatilità e dalla direzionalità, spesso muta, è quindi fondamentale disporre di una banca dati sufficientemente estesa da comprendere diverse fasi di mercato al fine di poter testare e ottimizzare le strategie;
Proprio perché è possibile testare ogni strategia su diversi parametri, i numerosi test su dati storici volti ad ottenere il miglior risultato possibile si traducono spesso in ottimizzazioni esasperate che non garantiscono un migliore funzionamento futuro, anche l’ottimizzazione dei parametri va progettata attentamente.