Cara menggunakan

Pilih rekaman satu instrumen atau vokal (hingga 10 menit).
Pilih Deteksi nada dan tunggu sementara audio dianalisis di browser Anda.
Sesuaikan ambang batas dan nada terpendek sambil melihat piano roll.
Atur tempo jika Anda ingin nada-nadanya selaras dengan bar di DAW, lalu unduh file MIDI.

Cara kerja

Audio didekode oleh browser Anda, dicampur menjadi mono, dan di-resample ke 22.050 Hz, format input Basic Pitch, model deteksi not sumber terbuka (Apache 2.0) yang dipublikasikan Spotify. Model berjalan di browser Anda dengan TensorFlow.js dan memperkirakan, untuk setiap frame 11,6 ms dan masing-masing dari 88 tuts piano, seberapa besar kemungkinan sebuah not dimulai dan sebuah not berbunyi. Probabilitas tersebut diubah menjadi not menggunakan ambang onset dan frame, panjang not terpendek, dan secara opsional trik melodia, yang juga menangkap not yang muncul perlahan tanpa attack yang jelas.

Not ditulis sebagai Standard MIDI File satu track dengan program piano akustik. Velocity berasal dari kenyaringan yang terdeteksi. Tempo yang Anda atur hanya menentukan grid bar; not-notnya mempertahankan timing dalam detik, sehingga tidak akan terkunci ke ketukan kecuali rekaman dimainkan mengikuti metronom pada tempo tersebut. Pitch bend tidak ditulis.

Hasil sangat bergantung pada rekaman. Instrumen solo yang bersih bekerja dengan baik; akor terdeteksi tetapi terkadang dengan not yang hilang atau berlebih; drum, distorsi, reverb, dan mix penuh menghasilkan banyak not yang salah. Analisis membutuhkan waktu beberapa detik hingga beberapa menit tergantung pada durasi dan perangkat Anda.

Contoh

Rekaman piano

Rekaman ponsel 2 menit dari sebuah lagu piano menghasilkan file MIDI dengan melodi dan sebagian besar not akor; menurunkan ambang frame memulihkan not lembut, menaikkannya menghapus ghost note.

Melodi yang disenandungkan

Rekam senandung di memo suara, konversikan dengan trik melodia aktif, lalu impor MIDI-nya ke DAW untuk dimainkan pada instrumen apa pun.

Pertanyaan yang sering diajukan

Bisakah alat ini memisahkan instrumen dalam sebuah lagu?

Tidak. Alat ini mendeteksi not bernada di seluruh rekaman dan menempatkannya dalam satu track. Pada mix penuh, vokal, bass, akor, dan overtone drum semuanya menjadi not, itulah sebabnya hasil pada lagu lengkap berantakan.

Apakah audio saya diunggah?

Tidak. Audio didekode dan dianalisis di browser Anda. Hanya file model yang diunduh dari situs ini; rekaman Anda tidak pernah meninggalkan perangkat Anda.

Mengapa not-notnya tidak sejajar dengan bar di DAW saya?

MIDI mempertahankan timing asli permainan. Atur tempo ke tempo lagu dan lakukan quantize di DAW Anda jika Anda membutuhkan not pada grid.

Mengapa ada batas 10 menit?

Analisis menyimpan seluruh output model di memori. Rekaman yang lebih panjang dapat menghabiskan memori browser, terutama di ponsel. Potong file yang panjang menjadi beberapa bagian terlebih dahulu.

Privasi

File audio Anda didekode dan dianalisis sepenuhnya di browser Anda; tidak diunggah atau disimpan. Model deteksi nada dimuat dari server situs ini sendiri.