使い方
- 単一の楽器または声の録音（最大10分）を選択します。
- 「ノートを検出」を選択し、ブラウザで音声が解析されるまで待ちます。
- ピアノロールを見ながら、しきい値と最短ノートを調整します。
- DAWでノートが小節に揃うようにしたい場合はテンポを設定し、MIDIファイルをダウンロードします。
仕組み
音声はブラウザでデコードされ、モノラルにミックスされて22,050 Hzにリサンプリングされます。これはBasic Pitch（Spotifyが公開したオープンソース（Apache 2.0）のノート検出モデル）の入力形式です。モデルはTensorFlow.jsでブラウザ内で実行され、11.6 msごとのフレームと88鍵それぞれについて、音が始まる確率と鳴っている確率を推定します。これらの確率は、オンセットしきい値とフレームしきい値、最短ノート長、および必要に応じてmelodia trickを使ってノートに変換されます。melodia trickは、明瞭なアタックなしでフェードインする音も拾います。
ノートはアコースティックピアノ音色の単一トラックStandard MIDI Fileとして書き出されます。ベロシティは検出された音量から決まります。設定したテンポは小節グリッドを定義するだけで、ノートは秒単位のタイミングを保持するため、そのテンポでクリックに合わせて録音された場合を除き、拍にスナップしません。ピッチベンドは書き出されません。
結果は録音に大きく左右されます。クリーンな単音楽器はうまく動作します。和音は検出されますが、音が欠けたり余分な音が入ることがあります。ドラム、ディストーション、リバーブ、フルミックスでは誤った音が多く発生します。解析には、長さとデバイスに応じて数秒から数分かかります。
使用例
ピアノ録音
ピアノ曲をスマートフォンで2分間録音すると、メロディとほとんどの和音ノートを含むMIDIファイルが得られます。フレームしきい値を下げると弱い音も復元され、上げるとゴーストノートを除けます。
ハミングしたメロディ
ボイスメモに曲をハミングして、melodia trickをオンにして変換し、MIDIをDAWに読み込むと、どの楽器でも演奏できます。
よくある質問
曲の楽器を分離できますか？
いいえ。録音全体から音程のあるノートを検出し、1トラックに出力します。フルミックスでは、ボーカル、ベース、コード、ドラムの倍音までがノートになるため、完成曲では結果が乱れます。
音声はアップロードされますか？
いいえ。音声はブラウザ内でデコード・解析されます。このサイトからダウンロードされるのはモデルファイルのみで、録音データがデバイスから外部に出ることはありません。
ノートがDAWの小節と揃わないのはなぜですか？
MIDIは演奏の実際のタイミングを保持します。ノートをグリッドに揃えたい場合は、テンポを曲のテンポに設定し、DAWでクオンタイズしてください。
なぜ10分の制限があるのですか？
解析ではモデルの出力すべてをメモリに保持します。長い録音は、特にスマートフォンではブラウザのメモリを圧迫する可能性があります。まず長いファイルを分割してください。
プライバシー
音声ファイルは完全にブラウザ内でデコードおよび解析され、アップロードや保存はされません。ノート検出モデルはこのサイト自体のサーバーから読み込まれます。