← Tutti i progetti
In corso novembre 2026

ShoppingScraperHelper

Un tracker di prezzi per la famiglia: si mette un articolo in lista, il sistema trova i negozi che lo vendono, ne controlla i prezzi e avvisa quando uno scende. Studio di fattibilità fatto, sei milestone su sette costruiti, l'ultimo in collaudo.

PythonDockerPlaywrightSearXNGGeminiSelf-hosted

L’idea

Qualcosa come i noti siti di storico prezzi per Amazon, ma su più negozi insieme e solo per la famiglia: si mette un articolo in lista, il sistema trova chi lo vende, controlla i prezzi ogni poche ore e mi avvisa via email e Telegram quando uno scende sotto una soglia o c’è un’offerta vera. È solo per uso interno, sul mini PC di casa.

Prima, uno studio di fattibilità

Prima di scrivere l’applicazione ho passato una giornata a verificare se poteva funzionare, perché l’idea ha una metà facile e una difficile.

Come funziona l’abbinamento

Amazon non pubblica il codice EAN di un prodotto, ma la tabella dei dettagli riporta il codice del produttore. È diventato la chiave: normalizzato (tolti punti, trattini e spazi, così EXAM440.55.G è uguale a EXAM44055G) permette a semplici regole di decidere, senza intelligenza artificiale. Sulla macchina del caffè tutti gli undici candidati letti sono stati classificati bene: sei sì, la versione di seconda scelta a un prezzo più basso scartata (parole come «usato», «ricondizionato» e «seconda scelta» vincono sul codice), e quattro parenti con codice diverso scartati.

Quando il codice non c’è («una qualsiasi RX 7900 XTX 24 GB», o un mouse descritto con il nome) decide un modello. Ho scelto Gemini nella fascia gratuita come giudice: riceve l’articolo e la pagina letta e risponde sì o no con una motivazione, in un formato fisso. Nelle prove ha avuto ragione diciassette volte su diciassette, con motivazioni leggibili («20 GB, non XTX 24 GB», «modello precedente», «versione business»). Quello che la fascia gratuita non include è la ricerca Google da parte del modello, quindi la ricerca dei candidati la fa SearXNG, un meta-motore di ricerca installato in casa che dà una ventina di candidati in un paio di secondi, quasi tutti negozi italiani veri una volta filtrati.

Nella prova il prezzo più basso della macchina del caffè era in un negozio a cui non avrei pensato, sedici euro meno di Amazon: esattamente il caso per cui esiste il progetto. Anche così, l’abbinamento del sistema resta una proposta che qualcuno conferma con un clic.

Cosa ho deciso di non fare

Una curiosità di rete: dal mini PC, che esce sull’altra linea in fibra, Amazon mostra il CAPTCHA a ogni richiesta semplice, mentre il browser headless legge la pagina senza problemi. La regola per quel negozio è quindi «browser, novanta secondi fra una richiesta e l’altra».

Come è fatto

Un’applicazione web e un worker in due container Docker sul mini PC, sotto WSL. I dati stanno in SQLite dentro un volume Docker (mai su un disco Windows montato, dove il locking di SQLite non è affidabile). Il worker tiene una coda per dominio e, prima di dire a qualcuno che un prezzo è sceso, lo controlla due volte. Ci sono liste condivisibili, articoli aggiunti da un link o da un nome, fonti manuali, un grafico dello storico dei prezzi e una pagina Problemi che raccoglie le fonti che hanno smesso di rispondere. Il codice arriva al mini PC con un git bundle, perché quella macchina non raggiunge il repository privato.

La ricerca, in pratica

Il milestone 4 ha portato nell’applicazione tutto quanto sopra. «Cerca altri negozi» cerca i candidati con il meta-motore e con la ricerca interna di Amazon, scarta i siti di comparazione, le pagine di recensioni, le pagine di ricerca, i doppioni e le fonti già note (anche quelle scartate), e legge al massimo dieci pagine per ricerca, rispettando sempre il ritmo di ogni dominio. Poi l’abbinamento: valuta, parole come usato o seconda scelta, EAN, codice del produttore (anche quando sta nel titolo, che distingue EXAM440.55.W), e solo alla fine una chiamata a Gemini, che non ha la ricerca Google. Senza chiave, o se Gemini sbaglia, le proposte restano «da verificare» invece di essere inventate.

I «sì» e gli «incerto» diventano proposte con i pulsanti Conferma e Scarta (e «Conferma tutti»); i «no» sono scartati con il motivo ben visibile, e si possono comunque attivare con un clic se non sono d’accordo. Un articolo «famiglia» («una qualsiasi RX 7900 XTX») funziona diversamente: i suoi «sì» diventano subito attivi e la ricerca si ripete ogni 24 ore. L’ho provato sul mini PC: per la macchina del caffè, con il codice del produttore le sole regole hanno smistato otto sì e sei no; senza codice, Gemini ha distinto bene la XT dalla XTX, la 3S dalla 4, la versione Business, quella per Mac e i bundle. Una lezione tecnica di questo milestone: il «battito» del worker ora vive in un thread suo, perché una ricerca lunga faceva sembrare il worker fermo. Il meta-motore provvisorio della fase di prove è stato tolto subito, visto che l’applicazione ha il suo.

Avvisi, HTTPS e backup

Il milestone 5 ha dato una voce all’applicazione. Un avviso parte in tre casi: il prezzo scende sotto la soglia che ho impostato (si riarma quando il prezzo risale sopra, e una volta disarmata riscatta solo con un altro calo dell’1%); il prezzo scende molto sotto la mediana dei 30 giorni di quella fonte; oppure tocca un nuovo minimo storico, che conta solo con almeno 14 giorni di storico. Se nella stessa lettura valgono più motivi, diventano un solo messaggio. Contano solo le fonti attive, in euro e col venditore accettato («solo Amazon»). I messaggi vanno via email e Telegram, sui canali scelti da ognuno nel profilo; Telegram si collega con un codice monouso valido 30 minuti. Escono da una coda di uscita nel worker, con tre tentativi a cinque minuti uno dall’altro, e la pagina Avvisi mostra l’esito di ogni invio. I malfunzionamenti (una fonte sospesa, il meta-motore, Amazon o Gemini che non rispondono) vanno solo agli amministratori, al massimo un messaggio al giorno per problema.

Il milestone 6 l’ha reso adatto a vivere sul mini PC. L’applicazione non è più esposta direttamente: davanti c’è un web server con HTTPS su un nome interno, con un certificato Let’s Encrypt ottenuto con la stessa delega DNS-01 che uso già per gli altri servizi di casa, rinnovato ogni notte. Il nome si risolve solo dentro casa e dalla VPN, e ho verificato che l’indirizzo IP nudo venga rifiutato. Un backup alle 02:00 fa una copia coerente del database, ne tiene 14 giorni e copia l’ultima in una cartella condivisa sul NAS; un errore diventa un avviso agli amministratori, e un comando ripristina da una qualsiasi copia. Gli aggiornamenti arrivano da GitHub con uno script che fa un backup, ricostruisce, controlla che l’applicazione sia in salute e, se non lo è, torna al codice, all’immagine e al database di prima e me lo dice. Una piccola lezione: i server di test di Let’s Encrypt non sono raggiungibili da quella macchina, quindi il certificato è stato chiesto direttamente alla produzione.

I primi articoli veri, e una migrazione che ha cancellato tutto

Il milestone 7 è partito con articoli veri, e il collaudo ha mostrato bug che i test non avevano visto. Due negozi mettono nei dati strutturati il prezzo senza IVA: ora vale il prezzo «IVA inclusa» della pagina, oppure si aggiunge il 22% quando c’è solo «IVA esclusa». Il codice del produttore si confronta come parola a sé, così uno switch non abbina più il modello che inizia con lo stesso codice; per un codice esteso decide Gemini. I codici corti, come lo standard Wi-Fi nel nome di un router, non bastano più per un «sì» automatico. Se Gemini risponde 503 l’app riprova tre volte, e le proposte rimaste senza giudizio si rivalutano alla ricerca successiva. Per i familiari ci sono ora una pagina Amministrazione (crea un account con password provvisoria mostrata una volta e cambio obbligatorio al primo accesso, disattiva, reimposta; stato di worker, backup e ultime ricerche) e una pagina Guida.

Quello grave: una migrazione che ricreava la tabella degli utenti, con le foreign key attive, ha cancellato a cascata liste, articoli, fonti e storico sul mini PC. Ho recuperato tutto dal backup che lo script di aggiornamento fa subito prima di aggiornare, quindi nessuna perdita, ma solo per fortuna di progetto. La causa è semplice: i test partivano da database vuoti e il controllo di salute guardava solo se l’app rispondeva, quindi nessuno dei due poteva accorgersene. Adesso le migrazioni girano con le foreign key spente, un test esegue ogni migrazione su un database con dati (e fallisce senza la correzione), e lo script di aggiornamento confronta i conteggi prima e dopo e fa rollback se i dati calano. Una correzione minore: il web server risolve il container dell’applicazione a ogni richiesta, così un aggiornamento non lascia più un 502.

Stato

Lavori in corso. Studio di fattibilità e fase di prove fatti; milestone da 1 a 6 su 7 costruiti e installati, e il settimo, il collaudo con la famiglia, iniziato: le correzioni dai primi articoli veri, la pagina Amministrazione e la Guida ci sono. Per ora esiste solo il mio account. Adesso creo gli account dei familiari e lo usiamo per una settimana; poi un rapporto sulla settimana (avvisi giusti, nessun doppione) decide se chiudere. Il percorso di rollback dello script di aggiornamento non è ancora mai stato provato davvero, e devo ancora verificare l’accesso dal telefono via VPN.

Stack

Python · Playwright · SearXNG · Gemini · SQLite · Docker · WSL