Jak używać
- Wybierz nagranie jednego instrumentu lub głosu (do 10 minut).
- Wybierz „Wykryj nuty” i poczekaj, aż dźwięk zostanie przeanalizowany w przeglądarce.
- Dostosuj progi i najkrótszą nutę, obserwując piano roll.
- Ustaw tempo, jeśli chcesz dopasować nuty do taktów w DAW, a następnie pobierz plik MIDI.
Jak to działa
Dźwięk jest dekodowany przez Twoją przeglądarkę, miksowany do mono i ponownie próbkowany do 22 050 Hz — formatu wejściowego Basic Pitch, modelu wykrywania nut o otwartym kodzie (Apache 2.0) opublikowanego przez Spotify. Model działa w Twojej przeglądarce przy użyciu TensorFlow.js i dla każdej ramki 11,6 ms oraz każdego z 88 klawiszy fortepianu szacuje, jak prawdopodobne jest rozpoczęcie nuty i jej wybrzmiewanie. Te prawdopodobieństwa są przekształcane w nuty na podstawie progów początku i ramki, najkrótszej długości nuty oraz, opcjonalnie, triku melodia, który wychwytuje również nuty narastające bez wyraźnego ataku.
Nuty są zapisywane jako jednościeżkowy Standard MIDI File z programem fortepianu akustycznego. Dynamika pochodzi z wykrytej głośności. Ustawione tempo określa tylko siatkę taktów; nuty zachowują czas w sekundach, więc nie zostaną przyciągnięte do uderzeń, chyba że nagranie było grane do metronomu w tym tempie. Pitch bend nie jest zapisywany.
Wyniki silnie zależą od nagrania. Czysty instrument solowy sprawdza się dobrze; akordy są wykrywane, ale czasem z brakującymi lub dodatkowymi nutami; perkusja, przester, pogłos i pełne miksy generują wiele błędnych nut. Analiza trwa od kilku sekund do kilku minut w zależności od długości i Twojego urządzenia.
Przykłady
Nagranie fortepianu
Dwuminutowe nagranie utworu fortepianowego z telefonu daje plik MIDI z melodią i większością dźwięków akordów; obniżenie progu ramki odzyskuje ciche nuty, a podwyższenie go usuwa fałszywe nuty.
Zanucenie melodii
Zanuć melodię do notatki głosowej, przetwórz ją z włączonym trikiem melodia i zaimportuj MIDI do DAW, aby zagrać ją na dowolnym instrumencie.
Często zadawane pytania
Czy potrafi rozdzielić instrumenty w utworze?
Nie. Wykrywa nuty o określonej wysokości w całym nagraniu i umieszcza je na jednej ścieżce. W pełnym miksie wokale, bas, akordy i alikwoty perkusji trafiają jako nuty, dlatego wyniki dla całych utworów są chaotyczne.
Czy moje audio jest przesyłane?
Nie. Dźwięk jest dekodowany i analizowany w Twojej przeglądarce. Z tej witryny pobierany jest tylko plik modelu; Twoje nagranie nigdy nie opuszcza urządzenia.
Dlaczego nuty nie pokrywają się z taktami w moim DAW?
MIDI zachowuje rzeczywiste czasy wykonania. Ustaw tempo zgodne z tempem utworu i użyj kwantyzacji w DAW, jeśli nuty mają być na siatce.
Dlaczego jest limit 10 minut?
Analiza przechowuje całe dane wyjściowe modelu w pamięci. Dłuższe nagrania mogą wyczerpać pamięć przeglądarki, zwłaszcza na telefonach. Najpierw podziel długie pliki na części.
Prywatność
Plik audio jest dekodowany i analizowany w całości w Twojej przeglądarce; nie jest przesyłany ani zapisywany. Model wykrywania nut jest ładowany z serwera tej witryny.