使用方式
- 選擇單一樂器或人聲的錄音(最長 10 分鐘)。
- 選取「偵測音符」,然後等待音訊在瀏覽器中完成分析。
- 觀看鋼琴捲簾時,調整閾值和最短音符。
- 若想讓音符對齊 DAW 中的小節,請設定速度,然後下載 MIDI 檔案。
運作方式
音訊會由您的瀏覽器解碼,混音為單聲道並重新取樣至 22,050 Hz,這是 Basic Pitch 的輸入格式;Basic Pitch 是 Spotify 發布的開源(Apache 2.0)音符偵測模型。該模型透過 TensorFlow.js 在您的瀏覽器中執行,並針對每 11.6 ms 的音框及 88 個鋼琴鍵,估計一個音符開始以及持續發聲的機率。這些機率會根據起音與音框門檻值、最短音符長度,以及可選的 melodia 技巧轉換成音符;melodia 技巧也能捕捉沒有明顯起音、淡入的音符。
這些音符會寫入單一音軌的 Standard MIDI File,使用原音鋼琴音色。力度(Velocity)來自偵測到的音量。您設定的速度只會定義小節格線;音符會保留以秒為單位的時間,因此除非錄音是依照該速度的節拍器演奏,否則不會自動對齊拍點。不會寫入彎音(Pitch bend)資料。
結果很大程度取決於錄音。乾淨的獨奏樂器效果良好;和弦可被偵測,但有時會漏掉或多出音符;鼓、失真、殘響和完整混音會產生許多錯誤音符。分析時間從幾秒到幾分鐘不等,視長度與您的裝置而定。
範例
鋼琴錄音
一段 2 分鐘的鋼琴曲手機錄音,可產生包含旋律與大部分和弦音的 MIDI 檔案;降低音框門檻值可找回輕柔音符,提高則可移除幽靈音符。
哼唱的旋律
將一段旋律哼唱進語音備忘錄,開啟 melodia 技巧進行轉換,然後將 MIDI 匯入 DAW,即可用任何樂器播放。
常見問題
它能分離歌曲中的樂器嗎?
不能。它會偵測整段錄音中的音高音符,並將其放在同一音軌上。在完整混音中,人聲、貝斯、和弦與鼓的泛音最後都會變成音符,因此完整歌曲的結果會很混亂。
我的音訊會被上傳嗎?
不會。音訊會在您的瀏覽器中解碼與分析。只會從本站下載模型檔案;您的錄音永遠不會離開您的裝置。
為什麼音符沒有對齊我 DAW 中的小節?
MIDI 會保留演奏的實際時間。若需要讓音符對齊格線,請將速度設為歌曲的速度,並在 DAW 中量化。
為什麼有 10 分鐘的限制?
分析會將所有模型輸出保留在記憶體中。較長的錄音可能耗盡瀏覽器記憶體,尤其是在手機上。請先將長檔案分段。
隱私權
你的音訊檔案會完全在瀏覽器中解碼和分析;不會上傳或儲存。音符偵測模型會從本站伺服器載入。