Как пользоваться
- Выберите запись одного инструмента или голоса (до 10 минут).
- Выберите «Определить ноты» и подождите, пока аудио анализируется в вашем браузере.
- Настраивайте пороговые значения и самую короткую ноту, наблюдая за пиано-роллом.
- Задайте темп, если хотите, чтобы ноты совпадали с тактами в DAW, затем скачайте MIDI-файл.
Как это работает
Аудио декодируется вашим браузером, сводится в моно и пересэмплируется до 22 050 Гц — это входной формат Basic Pitch, модели распознавания нот с открытым исходным кодом (Apache 2.0), опубликованной Spotify. Модель работает в вашем браузере с помощью TensorFlow.js и оценивает для каждого кадра длительностью 11,6 мс и каждой из 88 клавиш фортепиано, насколько вероятно, что нота начинается и что нота звучит. Эти вероятности преобразуются в ноты с помощью порогов начала и кадра, минимальной длины ноты и, при желании, приёма melodia, который также улавливает ноты, появляющиеся плавно, без чёткой атаки.
Ноты записываются в однодорожечный Standard MIDI File с тембром акустического фортепиано. Скорость нажатия (velocity) определяется по обнаруженной громкости. Заданный вами темп определяет только сетку тактов; ноты сохраняют тайминг в секундах, поэтому они не будут привязаны к долям, если только запись не была сыграна под клик с этим темпом. Питч-бенд не записывается.
Результаты сильно зависят от записи. Чистый сольный инструмент работает хорошо; аккорды распознаются, но иногда с пропущенными или лишними нотами; ударные, дисторшн, реверберация и полные сведения дают много неверных нот. Анализ занимает от нескольких секунд до нескольких минут в зависимости от длины записи и вашего устройства.
Примеры
Запись фортепиано
Двухминутная запись фортепианной пьесы на телефон даёт MIDI-файл с мелодией и большинством аккордовых нот; снижение порога кадра восстанавливает тихие ноты, повышение убирает фантомные ноты.
Напетая мелодия
Напойте мелодию в голосовую заметку, преобразуйте её с включённым приёмом melodia и импортируйте MIDI в DAW, чтобы сыграть её на любом инструменте.
Часто задаваемые вопросы
Может ли он разделить инструменты в песне?
Нет. Он распознаёт ноты с определённой высотой во всей записи и помещает их на одну дорожку. В полной фонограмме вокал, бас, аккорды и обертоны ударных — всё становится нотами, поэтому результаты для готовых песен получаются неаккуратными.
Загружается ли моё аудио?
Нет. Аудио декодируется и анализируется в вашем браузере. С этого сайта загружается только файл модели; ваша запись никогда не покидает ваше устройство.
Почему ноты не совпадают с тактами в моей DAW?
MIDI сохраняет реальный тайминг исполнения. Если нужно, чтобы ноты попали в сетку, установите темп, равный темпу песни, и выполните квантизацию в вашей DAW.
Почему существует ограничение в 10 минут?
Анализ хранит все результаты модели в памяти. Длинные записи могут исчерпать память браузера, особенно на телефонах. Сначала разрежьте длинные файлы на части.
Конфиденциальность
Ваш аудиофайл декодируется и анализируется полностью в вашем браузере; он не загружается и не сохраняется. Модель определения нот загружается с собственного сервера этого сайта.