Як користуватися
- Виберіть запис одного інструмента або голосу (до 10 хвилин).
- Натисніть «Визначити ноти» та зачекайте, поки аудіо аналізується у вашому браузері.
- Налаштуйте порогові значення та найкоротшу ноту, спостерігаючи за фортепіанною стрічкою.
- Задайте темп, якщо хочете, щоб ноти збігалися з тактами у вашій DAW, а потім завантажте MIDI-файл.
Як це працює
Аудіо декодується вашим браузером, змішується в моно та передискретизується до 22 050 Гц, вхідного формату Basic Pitch — відкритої (Apache 2.0) моделі розпізнавання нот, опублікованої Spotify. Модель працює у вашому браузері за допомогою TensorFlow.js і оцінює для кожного кадру тривалістю 11,6 мс та кожної з 88 клавіш фортепіано, наскільки ймовірно, що нота починається і що нота звучить. Ці ймовірності перетворюються на ноти за допомогою порогових значень onset і frame, мінімальної тривалості ноти та, за бажанням, трюку melodia, який також вловлює ноти, що наростають без чіткої атаки.
Ноти записуються як однодоріжковий файл Standard MIDI з програмою акустичного фортепіано. Велосіті визначається з виявленої гучності. Встановлений вами темп визначає лише сітку тактів; ноти зберігають час у секундах, тому вони не прив'язуватимуться до долей, якщо запис не виконувався під метроном із цим темпом. Пітч-бенди не записуються.
Результати сильно залежать від запису. Чистий сольний інструмент працює добре; акорди розпізнаються, але іноді з пропущеними або зайвими нотами; барабани, дисторшн, реверберація та повні мікси створюють багато хибних нот. Аналіз триває від кількох секунд до кількох хвилин залежно від тривалості запису та вашого пристрою.
Приклади
Запис фортепіано
Двохвилинний телефонний запис фортепіанної п'єси дає MIDI-файл із мелодією та більшістю нот акордів; зниження порогу frame повертає тихі ноти, підвищення прибирає фантомні ноти.
Наспівана мелодія
Наспівайте мелодію в голосову нотатку, перетворіть її з увімкненою опцією melodia та імпортуйте MIDI у DAW, щоб зіграти її на будь-якому інструменті.
Поширені запитання
Чи може він розділяти інструменти в пісні?
Ні. Він визначає ноти з визначеною висотою в усьому записі й розміщує їх на одній доріжці. У повному міксі вокал, бас, акорди й обертони барабанів перетворюються на ноти, тому результати для готових пісень виходять неохайними.
Чи вивантажується моє аудіо?
Ні. Аудіо декодується й аналізується у вашому браузері. З цього сайту завантажується лише файл моделі; ваш запис ніколи не залишає вашого пристрою.
Чому ноти не збігаються з тактами в моїй DAW?
MIDI зберігає реальний таймінг виконання. Встановіть темп, що відповідає темпу пісні, і застосуйте квантизацію у своїй DAW, якщо ноти мають потрапляти в сітку.
Чому існує обмеження у 10 хвилин?
Аналіз зберігає весь результат моделі в пам’яті. Довші записи можуть вичерпати пам’ять браузера, особливо на телефонах. Спочатку розріжте довгі файли на частини.
Конфіденційність
Ваш аудіофайл декодується та аналізується повністю у вашому браузері; він не завантажується на сервер і не зберігається. Модель визначення нот завантажується з власного сервера цього сайту.