사용 방법

단일 악기 또는 목소리 녹음(최대 10분)을 선택하세요.
음표 감지를 선택하고 브라우저에서 오디오가 분석되는 동안 기다리세요.
피아노 롤을 보면서 임계값과 최소 음표 길이를 조정하세요.
DAW에서 음표가 마디에 맞게 정렬되도록 하려면 템포를 설정한 다음 MIDI 파일을 다운로드하세요.

작동 방식

오디오는 브라우저에서 디코딩된 후 모노로 믹스되고 22,050Hz로 리샘플링됩니다. 이는 Spotify가 공개한 오픈소스(Apache 2.0) 음 감지 모델인 Basic Pitch의 입력 형식입니다. 모델은 브라우저에서 TensorFlow.js로 실행되며, 11.6ms 프레임마다 88개 피아노 건반 각각에 대해 음이 시작될 확률과 음이 울리고 있을 확률을 추정합니다. 이 확률은 onset과 frame 임계값, 최소 음 길이, 선택적으로 melodia 트릭을 사용하여 음표로 변환됩니다. melodia 트릭은 뚜렷한 어택 없이 페이드 인되는 음도 감지합니다.

음표는 어쿠스틱 피아노 프로그램이 지정된 단일 트랙 표준 MIDI 파일로 기록됩니다. 벨로시티는 감지된 음량에서 비롯됩니다. 설정한 템포는 마디 그리드만 정의하며, 음표는 초 단위 타이밍을 유지하므로 해당 템포의 클릭에 맞춰 연주된 녹음이 아니라면 비트에 자동으로 정렬되지 않습니다. 피치 벤드는 기록되지 않습니다.

결과는 녹음 상태에 크게 좌우됩니다. 깨끗한 단일 악기는 잘 작동하고, 코드는 감지되지만 때때로 음이 누락되거나 추가될 수 있으며, 드럼, 디스토션, 리버브, 풀 믹스는 잘못된 음을 많이 만들어 냅니다. 분석 시간은 녹음 길이와 기기에 따라 수 초에서 수 분까지 걸릴 수 있습니다.

예시

피아노 녹음

피아노 곡을 2분간 휴대폰으로 녹음하면 멜로디와 대부분의 코드 음이 담긴 MIDI 파일을 얻을 수 있습니다. frame 임계값을 낮추면 약한 음을 복구하고, 높이면 고스트 노트를 제거합니다.

허밍 멜로디

음성 메모에 멜로디를 허밍하고 melodia 트릭을 켠 상태로 변환한 다음 MIDI를 DAW로 가져와 원하는 악기로 재생하세요.

자주 묻는 질문

곡에서 악기를 분리할 수 있나요?

아니요. 녹음 전체에서 음높이가 있는 음을 감지하여 한 트랙에 담습니다. 풀 믹스에서는 보컬, 베이스, 코드, 드럼 배음이 모두 음으로 변환되기 때문에 완성된 곡에서는 결과가 지저분해집니다.

오디오가 업로드되나요?

아니요. 오디오는 브라우저에서 디코딩되고 분석됩니다. 이 사이트에서는 모델 파일만 다운로드되며, 녹음 파일은 기기를 떠나지 않습니다.

DAW에서 음이 마디에 맞지 않는 이유는 무엇인가요?

MIDI는 연주의 실제 타이밍을 유지합니다. 그리드에 맞추려면 템포를 곡의 템포로 설정하고 DAW에서 퀀타이즈하세요.

10분 제한이 있는 이유는 무엇인가요?

분석은 모든 모델 출력을 메모리에 유지합니다. 긴 녹음은 특히 휴대폰에서 브라우저 메모리를 소진할 수 있습니다. 긴 파일은 먼저 여러 부분으로 나누세요.

개인정보 보호

오디오 파일은 브라우저에서 완전히 디코딩되고 분석되며 업로드되거나 저장되지 않습니다. 음표 감지 모델은 이 사이트의 자체 서버에서 로드됩니다.