Come si usa
- Scegli una registrazione di un singolo strumento o voce (fino a 10 minuti).
- Seleziona Rileva note e attendi mentre l'audio viene analizzato nel tuo browser.
- Regola le soglie e la nota più breve osservando il piano roll.
- Imposta il tempo se vuoi che le note si allineino alle battute nella tua DAW, quindi scarica il file MIDI.
Come funziona
L'audio viene decodificato dal browser, mixato in mono e ricampionato a 22.050 Hz, il formato di input di Basic Pitch, un modello open source (Apache 2.0) per il rilevamento delle note pubblicato da Spotify. Il modello viene eseguito nel browser con TensorFlow.js e stima, per ogni fotogramma di 11,6 ms e per ciascuno degli 88 tasti del pianoforte, la probabilità che una nota inizi e che sia in riproduzione. Queste probabilità vengono convertite in note usando le soglie di attacco e di fotogramma, la durata minima della nota e, facoltativamente, il «melodia trick», che consente di rilevare anche le note che compaiono gradualmente senza un attacco netto.
Le note vengono scritte come file MIDI standard a traccia singola con un programma di pianoforte acustico. La velocity deriva dall'intensità rilevata. Il tempo impostato definisce solo la griglia delle battute; le note mantengono la loro temporizzazione in secondi, quindi non si allineeranno ai beat a meno che la registrazione non sia stata eseguita con un metronomo a quel tempo. I pitch bend non vengono scritti.
I risultati dipendono molto dalla registrazione. Uno strumento solista pulito funziona bene; gli accordi vengono rilevati ma a volte con note mancanti o in eccesso; batteria, distorsione, riverbero e mix completi producono molte note errate. L'analisi richiede da pochi secondi ad alcuni minuti in base alla durata e al dispositivo.
Esempi
Registrazione di pianoforte
Una registrazione telefonica di 2 minuti di un brano per pianoforte produce un file MIDI con la melodia e gran parte delle note degli accordi; abbassando la soglia di fotogramma si recuperano le note deboli, alzandola si eliminano le note fantasma.
Melodia canticchiata
Canticchia un motivo in un memo vocale, convertilo con il melodia trick attivo e importa il MIDI in una DAW per riprodurlo con qualsiasi strumento.
Domande frequenti
Può separare gli strumenti in una canzone?
No. Rileva le note intonate nell'intera registrazione e le inserisce su un'unica traccia. In un mix completo, voci, basso, accordi e armonici della batteria finiscono tutti come note, per questo i risultati sui brani completi sono disordinati.
Il mio audio viene caricato?
No. L'audio viene decodificato e analizzato nel browser. Da questo sito viene scaricato solo il file del modello; la tua registrazione non lascia mai il dispositivo.
Perché le note non si allineano con le battute nella mia DAW?
Il MIDI mantiene la temporizzazione reale dell'esecuzione. Imposta il tempo su quello del brano e quantizza nella DAW se hai bisogno di note sulla griglia.
Perché c'è un limite di 10 minuti?
L'analisi mantiene tutto l'output del modello in memoria. Le registrazioni più lunghe possono esaurire la memoria del browser, soprattutto sui telefoni. Taglia prima i file lunghi in parti.
Privacy
Il tuo file audio viene decodificato e analizzato interamente nel browser; non viene caricato né archiviato. Il modello di rilevamento delle note viene caricato dal server di questo sito.