איך להשתמש בו
- בחרו הקלטה של כלי נגינה בודד או קול (עד 10 דקות).
- בחרו "זיהוי תווים" והמתינו בזמן שהאודיו מנותח בדפדפן שלכם.
- התאימו את הספים ואת התו הקצר ביותר תוך כדי צפייה בתצוגת התווים.
- הגדירו את הקצב אם ברצונכם שהתווים יתיישרו לתיבות ב-DAW שלכם, ולאחר מכן הורידו את קובץ ה-MIDI.
איך זה עובד
השמע מפוענח על ידי הדפדפן, מעורבב למונו ונדגם מחדש ל-22,050 הרץ, פורמט הקלט של Basic Pitch, מודל קוד פתוח (Apache 2.0) לזיהוי תווים שפורסם על ידי Spotify. המודל רץ בדפדפן באמצעות TensorFlow.js ומעריך, עבור כל פריים של 11.6 מילישניות וכל אחד מ-88 קלידי הפסנתר, מה הסיכוי שמתחיל תו ושנשמע תו. ההסתברויות האלה מומרות לתווים באמצעות ספי ההתחלה והפריים, אורך התו הקצר ביותר, ובאופן אופציונלי טריק melodia, שמזהה גם תווים שנכנסים בהדרגה ללא התקפה ברורה.
התווים נכתבים כקובץ Standard MIDI File חד-מסלולי עם כלי פסנתר אקוסטי. עוצמת הנגינה נגזרת מהעוצמה שזוהתה. הטמפו שתגדירו מגדיר רק את רשת התיבות; התווים שומרים על התזמון שלהם בשניות, כך שהם לא ייצמדו לפעימות אלא אם ההקלטה נוגנה לפי קליק באותו קצב. שינויי pitch bend אינם נכתבים.
התוצאות תלויות מאוד בהקלטה. כלי סולו נקי עובד טוב; אקורדים מזוהים אך לעיתים עם תווים חסרים או נוספים; תופים, דיסטורשן, ריוורב ומיקסים מלאים יוצרים הרבה תווים שגויים. הניתוח אורך בין שניות ספורות למספר דקות, תלוי באורך ובמכשיר שלכם.
דוגמאות
הקלטת פסנתר
הקלטה טלפונית בת 2 דקות של קטע פסנתר מניבה קובץ MIDI עם המלודיה ורוב תווי האקורדים; הורדת סף הפריים משחזרת תווים חלשים, והעלאתו מסירה תווי רפאים.
מנגינה מזמזמת
זמזמו מנגינה לתוך תזכיר קולי, המירו אותה כשטריק melodia מופעל וייבאו את ה-MIDI לתוכנת DAW כדי לנגן אותו בכל כלי.
שאלות נפוצות
האם הוא יכול להפריד בין הכלים בשיר?
לא. הוא מזהה תווים בעלי גובה צליל בכל ההקלטה ושם אותם במסלול אחד. במיקס מלא, שירה, בס, אקורדים וצלילים עיליים של תופים הופכים כולם לתווים, ולכן התוצאות על שירים שלמים מבולגנות.
האם השמע שלי מועלה?
לא. השמע מפוענח ומנותח בדפדפן שלכם. רק קובץ המודל מוריד מאתר זה; ההקלטה שלכם לעולם לא עוזבת את המכשיר.
למה התווים לא מתיישרים עם התיבות ב-DAW שלי?
ה-MIDI שומר על התזמון האמיתי של הביצוע. הגדירו את הטמפו לטמפו של השיר וכמתו (quantize) ב-DAW אם אתם צריכים תווים על הרשת.
מדוע יש מגבלה של 10 דקות?
הניתוח שומר את כל פלט המודל בזיכרון. הקלטות ארוכות עלולות למצות את זיכרון הדפדפן, במיוחד בטלפונים. תחילה חתכו קבצים ארוכים לחלקים.
פרטיות
קובץ האודיו שלך מפוענח ומנותח כולו בדפדפן שלך; הוא אינו מועלה ואינו נשמר. מודל זיהוי התווים נטען מהשרת של אתר זה.