Használata
- Válassz egyetlen hangszer vagy énekhang felvételét (legfeljebb 10 perc).
- Válaszd a Hangjegyek észlelése lehetőséget, és várj, amíg a böngésző elemzi a hangot.
- Állítsd a küszöbértékeket és a legrövidebb hangjegyet, miközben figyeled a zongoramátrixot.
- Add meg a tempót, ha szeretnéd, hogy a hangok illeszkedjenek az ütemekhez a DAW-odban, majd töltsd le a MIDI-fájlt.
Hogyan működik
A hangot a böngésző dekódolja, mono-ra keveri és 22,050 Hz-re újramintavételezi, ez a Basic Pitch, a Spotify által közzétett nyílt forráskódú (Apache 2.0) hangjegyfelismerő modell bemeneti formátuma. A modell a böngészőben fut a TensorFlow.js segítségével, és minden 11,6 ms-os keretre, valamint mind a 88 zongorabillentyűre megbecsüli, mennyire valószínű, hogy egy hangjegy kezdődik, illetve szól. Ezeket a valószínűségeket a kezdési és keretküszöbértékek, a legrövidebb hangjegyhossz és opcionálisan a melodia trick segítségével alakítjuk hangjegyekké, amely utóbbi azokat a hangjegyeket is felismeri, amelyek éles támadás nélkül úsznak be.
A hangjegyek egyetlen sávos, akusztikus zongora programmal ellátott Standard MIDI fájlba kerülnek. A Velocity az észlelt hangerőből származik. A beállított tempó csak az ütemhálót határozza meg; a hangjegyek megtartják másodpercben mért időzítésüket, így nem igazodnak az ütemekhez, hacsak a felvétel nem klikkre játszva, az adott tempóban készült. Pitch bendek nem kerülnek kiírásra.
Az eredmény erősen függ a felvételtől. Tiszta szólóhangszer esetén jól működik; az akkordokat felismeri, de néha hiányzó vagy extra hangjegyekkel; dobok, torzítás, reverb és teljes keverések sok hibás hangjegyet eredményeznek. Az elemzés néhány másodperctől néhány percig tart a hossztól és az eszköztől függően.
Példák
Zongorafelvétel
Egy zongoradarab 2 perces telefonos felvétele MIDI-fájlt ad a dallammal és a legtöbb akkordhanggal; a keretküszöb csökkentése visszahozza a halk hangjegyeket, növelése eltávolítja a téves hangjegyeket.
Dúdolt dallam
Dúdoljon egy dallamot egy hangjegyzetbe, alakítsa át a melodia-trükk bekapcsolásával, és importálja a MIDI-t egy DAW-ba, hogy bármilyen hangszeren megszólaltassa.
Gyakori kérdések
Képes szétválasztani a hangszereket egy dalban?
Nem. A teljes felvételen érzékeli a dallamos hangjegyeket, és egyetlen sávra helyezi őket. Egy teljes mixben az ének, a basszus, az akkordok és a dobok felhangjai mind hangjegyekként jelennek meg, ezért a teljes dalokon az eredmény zavaros.
Feltöltődik a hangfelvételem?
Nem. A hang dekódolása és elemzése a böngészőben történik. Csak a modellfájl töltődik le erről a webhelyről; a felvétele soha nem hagyja el az eszközét.
Miért nem igazodnak a hangjegyek az ütemekhez a DAW-omban?
A MIDI megőrzi az előadás valós időzítését. Állítsa be a tempót a dal tempójára, és kvantáljon a DAW-ban, ha a hangjegyeket a rácshoz szeretné igazítani.
Miért van 10 perces korlát?
Az elemzés a modell teljes kimenetét a memóriában tartja. A hosszabb felvételek kimeríthetik a böngésző memóriáját, különösen telefonon. Először vágd kisebb részekre a hosszú fájlokat.
Adatvédelem
A hangfájl dekódolása és elemzése teljes egészében a böngésződben történik; nem töltjük fel és nem tároljuk. A hangjegyfelismerő modell a webhely saját szerveréről töltődik be.