Il concetto di Over-Fitting e la Validazione di un Modello 

Il concetto di fitting è insito nella creazione di ogni modello. 

Si parla di Over-fitting quando il modello è stato portato ad adattarsi troppo bene ai dati su cui viene addestrato (In Sample), attraverso qualche ottimizzazione su diversi parametri, di cui hai perso il controllo. 

Quel modello è improbabile che riesca a registrare prestazioni analoghe su una nuova porzione di dati che non ha mai visto prima (Out Of Sample) 

Per rendere meglio il concetto, dai un’occhiata a questa immagine

Il modello è il materasso, la persona su cui è stato sagomato è l’In Sample, e se cambi persona… (ecco, questo è l’Out Of Sample).

È per questa ragione che talvolta ci hai sentito affermare che non ti serve un METODO PER CREARE strategie. 

Trovare qualcosa che ha funzionato nel passato è semplice: basta lanciare un’ottimizzazione e fare variare il valore di qualche parametro libero di una strategia ed ecco un’equity line di un backtest che sale regolare (…sul passato).  

Quando lanci un’ottimizzazione testando diverse migliaia di combinazioni tra regole di ingresso, di uscita, filtri (con quelli che vengono chiamati “Composer”) stai creando un modello over-fittato. 

E otterrai un backtest con un’equity fantastica (sul passato), perché hai creato un materasso perfetto per una persona che ha una gamba sola e tre braccia, poi inizi a seguirla, e arriva una persona con due gambe e due braccia e troverà quel materasso poco comodo (=inizierai a perdere soldi). 

Sei in grado di controllare questo over-fitting? 

La risposta è NO.

Puoi solo cercare di ridurre le probabilità che succeda, effettuando test che nel mondo “reale” è normale effettuare (prova a pensare a come viene validata l’efficacia di un farmaco, con diversi gruppi di controllo, a cui somministrare il farmaco e un placebo). 

Ma nel “fantastico” mondo del trading, invece no. 

Nel mondo del “trading”, date retta a tutti questi scappati di casa su YouTube che ti dicono quello che vorresti sentirti dire, che “…basta fare così” mentre ti propinano ricette fantasiose (…che sarebbero irricevibili nel mondo reale), alternate a vendita di monnezza varia. 

Più che un metodo per creare strategie, ti serve un METODO per VALIDARE il risultato di queste strategie, perché la parte più difficile è capire che cosa può continuare a funzionare anche in futuro.

Se qualcosa ha funzionato in passato NON è detto che continuerà a funzionare in futuro: per questa ragione è necessario effettuare dei test un po’ più sofisticati su quella strategia (Validazione), per scartare ciò che, probabilmente, è stato un buon risultato sul passato grazie ad un uso non corretto delle ottimizzazioni (Overfitting)

Avrai sentito dire che validare un risultato, significa “vedere come va”… 

Ma ti sembra che nel mondo reale le cose funzionino così? 

Sviluppo un vaccino, e “vediamo come va”?

Crei un prodotto, e “vediamo come va”?

Costruisci un ponte e “vediamo se sta su”?

Questo pressappochismo e improvvisazione è qualcosa che trovi ormai SOLO tra chi parla di trading.

Noi ti insegniamo come confrontare distribuzioni di operazioni In Sample e Out Of Sample con un T-Test, ti mostriamo come Misurare la Persistenza di quel Risultato, ti parliamo di Cross Validation, di Validazione Multi Mercato, di analisi della stabilità del risultato per intorni dei valori dei parametri liberi, di che filtrare la componente di segnale / rumore…

Ma non è qualcosa che ci siamo inventati noi.

Noi non facciamo altro che applicare tecniche che nel mondo reale si utilizzano da sempre. 

E mi rendo conto che possono sembrare procedure complicate ad una prima occhiata, ma non lo sono più una volta che hai capito di che si tratta e come metterle in pratica. 

Si tratta dei protocolli per la validazione di modelli che spieghiamo nel corsi Trading Automatico e IntraDay Trading Systems, ma puoi già iniziare a farti un’idea di che si tratta iniziando da questi video: 

Come fare un’Ottimizzazione dei parametri di una Strategia

Fai ancora le Ottimizzazioni come si facevano 20 anni fa? (e come sono spiegate nei libri di quegli anni).

In questo video trovi alcune considerazioni su come credo sia più corretto effettuare un’ottimizzazione dei parametri liberi di una strategia, per convergere sulla combinazione più robusta e affidabile.

Il concetto di Persistenza 

Cosa si intende per Persistenza? 

Non ha nulla a che fare con la “tenacia” del trader: è un concetto che si applica all’analisi dei risultati ottenuti sulla porzione In Sample e Out Of Sample dei dati. 

E’ possibile Misurare la Persistenza del risultato (fra In Sample e Out Sample) delle combinazioni di parametri di una strategia, per scegliere la soluzione più robusta?

…noi lo facciamo così

Articoli per approfondire la Validazione 

E puoi proseguire con la lettura di questi articoli:

✅ Non ti serve un metodo per creare strategie

✅ Bias di selezione e le trappole da evitare

✅ Il P-Value, probabilità e certezze nel trading

✅ Come confrontare in-sample e out-of-sample? (Usiamo un T-test)

✅ La persistenza del risultato delle metriche di una strategia e come misurarla

Non sono letture semplici: prenditi un momento di tranquillità, e rileggi alcuni passaggi se non ti sono subito chiari… ma se getti la spugna al secondo paragrafo, allora hai capito perché questi cialtroni su YouTube avranno sempre vita facile a “raccontartela” nella prossima diretta.

Ora puoi continuare a fare le cose come le hai sempre fatte, perché qualcuno ti ha detto che “è semplice e basta fare così”, oppure puoi iniziare ad accettare che nel trading, così come in ogni altra attività, ti serve un metodo costruito su solide basi scientifiche (e non sarà quell’influencer su YouTube a insegnatelo).

Se ti è piaciuto quello che hai visto, puoi approfondire meglio argomenti come l’Analisi di Persistenza, la Misurazione la Robustezza di un Trading System, le Tecniche di Validazione, l’analisi di Stabilità del Risultato per un intorno dei valori dei parametri su Heat Map evolute, quali Test Statistici effettuare, l’analisi Segnale/Rumore… nel corso Trading Automatico oppure nel percorso Trading System Academy

Stiamo parlando di tratta di 8 giornate di formazione Live, centinaia di ore di Webinar, sessioni Live dopo corso e Coaching Class, più di 70 Trading System a tua disposizione (a codice aperto), tutto il materiale didattico e i tutorial per imparare ad usare le piattaforme più innovative.

…e non si tratta delle “solite cose” che hai già sentito in qualche corso sui Trading System!

Ma non devi credermi sulla parola: sfoglia i programmi delle giornate che compongono questo percorso (ad esempio “Trading Automatico” oppure di “Equity Control e Rotazione delle Strategie in Portafoglio“) per capire meglio che cosa intendo…

Una nuova edizione del percorso Trading System Academy è in partenza nelle prossime settimane, con una riduzione del 50% sulla quota di partecipazione: clicca qui per tutti i dettagli

Buon Trading!

Clicca qui per leggere gli ultimi articoli che abbiamo pubblicato:

• “Stacco tutto ad Agosto” (2° Parte)
• Strategie 1DTE (Gamma Positive) in un Portafoglio di Short Strangle 
• Quali Arbitraggi possiamo fare su Azioni, Futures e Opzioni?
• Golden Butterfly: l’ultimo anno di un Lazy Portfolio (su un conto reale)
• S&P500 a +20%: potevi fare meglio? Analisi di un conto dedicato a…

Pagina principale del blog

Argomenti articolo: over-fitting – overfitting trading – overfitting strategie di trading