מישהו מתמצא באלגוריתמים למיזוג תמונות ?

היי, האם מישהו כאן מתמצא קצת בנושא שילובי תמונות ?
 

ברשותי שתי מצלמות שונות (לא משנה כרגע מאיזה סוג ואילו עדשות, אבל הן לא זהות) שמסתכלות לעבר אותו הנוף, הייתי רוצה לנסות לכתוב אלגוריתם תוכנה שמבצע שילוב בין שתי התמונות ומציג תמונה אחת מאוחדת.
 
הבנתי שהנושא נחשב מאד מסובך ומיטב המוחות עובדים על סוג כזה של אלגוריתמים, הייתי רוצה להבין בעזרתכם איפה הקושי העיקרי כאן ? מדוע מסובך כל כך לבצע שילוב בין שתי תמונות ולהתאים עבור כל פיקסל בתמונה אחת את הפיקסל התואם בתמונה השניה ?
 
האם לא ניתן לבצע לדוגמה כיול חד פעמי מול איזושהי תבנית בנוף (רשת מתכת לדוגמה) ולדעת בעזרתה היכן כל פיקסל אמור ליפול ביחס לתמונה השניה ואיפה העיוותים ואי ההתאמות ?
 
כמו כן האם יש דרך למדוד מתי השילוב בין שתי התמונות הוא הטוב ביותר ? אם לדוגמה ניסיתי מספר שילובים (עבור אותן שתי תמונות בסיס) האם יש דרך מתמטית למדוד באיזה מכל השילובים התוצאה היא המיטבית ביותר ? (הרי לא תמיד קל להעריך במבט עיניים, לפעמים ההבדלים קטנים מדי)
 
אשמח אם מישהו יוכל להסביר לי מעט את הנושא.
 
תודה מראש.

לעניות דעתי כבר קיים אלגוריתם כזה ומשתמשים בו כבר בהמון תוכנות לעיבוד תמונה (גם פוטושופ...) ובעיקר תוכנות המאפשרות לייצר תמונה פנורמית ע"י צילום של כמה תמונות וחיבור בינהן.

אם אתה מדבר על משהו שיעבוד ב-Real Time זה כבר משהו אחר...

כן, באמת שכחתי לציין זאת, אני מדבר על מיזוג תמונות בזמן אמת... מדוע זה שונה ממיזוג של שתי תמונות סטטיות ? הרי וידאו הוא רצף של תמונות סטטיות אז העיקרון אמור להיות זהה, לא ?

אני יודע שכבר קיימים אלגוריתמים כאלו, אבל הייתי רוצה לכתוב אחד כזה בעצמי, והייתי רוצה להבין לפני כן באופן עקרוני מדוע זה נחשב כל כך מסובך ? על פניו זה לא נשמע לי בשמיים לבצע התאמה של פיקסל בתמונה אחת לפיקסל התואם בתמונה השנייה... אז מה הבעיה פה ? מדוע זו נחשבת משימה קשה ?

 

זה אולי לא מסובך שיש 10 פיקסלים בכל תמונה אבל היום כבר מצלמים ב-4K שזה אומר 3840 על 2160 פיקסלים.... וגם אם מדובר "רק" ב-HD זה עדיין אומר אלפי פיקסלים. אז יכול להיות שאם מדובר בצילום של קיר עם חלון זה לא יהיה כל כך מסובך אבל תאר לך צילום של מכונית שנוסעת בכביש עם עצים ברקע שזזים במהירות.... תכפיל את זה ב-24 פריימים לשניה (מינימום) ותבין שהפיקסל שהיה לפני 1/24 שניה במיקום X כבר לא באותו מיקום שהיה (וגם אם כן אולי השתנה לו הצבע כתוצאה מתאורה שהשתנתה....) בקיצור, פיתוח ב-Real Time זה משהו אחר לגמרי ודורש בד"כ גם מחשבי על וחומרה יוצאת דופן ויקרה. והשאלה הכי חשובה למה בכלל לעשות את זה?

 

אבל עדיין אני לא מבין... אם השוואתי שני פריימים תואמים משתי המצלמות ברגע מסויים, וגיליתי שפיקסל 24x37 במצלמה הימנית תואם לפיקסל 52x42 במצלמה השמאלית, האם ההתאמה הזו תשתנה בפריימים הבאים ? מדוע אני צריך לבצע את חישובי ההתאמות האלו עבור כל פריים של הסרט ? אם חישבתי פעם אחת זה לא יהיה מספיק טוב להמשך הסרט ?

 

על פניו נראה שזו אמורה להיות פעולה חד פעמית, מקסימום פעם בכמה שניות אם המצלמות לא מקובעות ב 100% וזזות טיפה...

 

תעשה ניסוי, קח 2 מצלמות וידאו מקם אותן על אותה חצובה וצור מצב שבו תמונה של האחת משלימה את התמונה של השניה ב-100% דיוק. עכשו אחרי שעשית זאת תסתובב עם אותה חצובה ותנסה לצלם מצבים אחרים במרחקים שונים, האם החיבור יישמר באותו דיוק? אני לא חושב.

הבנתי, למרות שעדיין נראה לי שמספיק לבצע את ההתאמה פעם בכמה שניות אלא אם כן המרחקים משתנים בצורה ממש משוגעת... גם פוקוס אוטומטי במצלמה לא מופעל לדעתי עבור כל פריים.

 "והשאלה הכי חשובה למה בכלל לעשות את זה?"

קודם כל כי זה כיף ומאתגר, והייתי רוצה לראות אם הרעיון שלי עובד (אולי הוא יתן תוצאה טובה יותר מהאלגוריתמים הקיימים ?)

 

שוב, אם לא מדובר בצילום דינמי יכול להיות שאתה צודק, אבל במקרה של צילום בתנועה תהיה חייב לעשות התאמה לכל פריים וזה אתגר לא פשוט בכלל, וזה גם בלי להזכיר את תיקון העיוות שיווצר כתוצאה מצילום עם 2 מצלמות שמכוונות בזווית שונה ל-2 נקודות (אפילו שחלק מהפריים חופף).

תוכל למצוא חומר על ניסיונות כאלה ביוטיוב, הנה דוגמא לשיעורי בית שקיבלו סטודנטים בנושא הזה:

נחמד... תמיד טוב לראות הלכה למעשה.