האם אחרי 50 שנה, הגיע הזמן להיפרד מהמקלדת?

סקירה של ממשקי אנוש-מחשב. מה בא אחרי מסך מגע וזיהוי קולי?

Apple Watch, שאפילו לא נחשב למחשב חזק מאוד, מסוגל לעבד גיגה-בייט נתונים בכל שנייה. למוחנו יש עשרות מיליארדי נוירונים ובעלי קשרים רביעיים, והמוח האנושי מעבד כמות עצומה של נתונים בכל שנייה שאנו אפילו לא יכולים להעריך. עם זאת, המקלדת והעכבר הצנועים, הם עדיין עד היום הגשר המהיר ביותר בין המוח האנושי העוצמתי לבין העולם המהיר של 0s ו- 1s.

מכשיר ה- Apple Watch חזק פי 250 מהמחשב שהנחית את אפולו על הירח. בעוד מחשבים התפתחו מכיבוש של בניין שלם לננומטרים בלבד, מקלדות עדיין נותרו ממשק המחשב האנושי והשימוש הנפוץ ביותר.

ההמצאה של מקלדת מחשב חוזרת למעלה מחמישים שנה. נחלת הכלל.גבר מתאהב בעוזרו הקולי בסרט

עוברים מעבר למקלדת ולעכבר?

מחשבים מוטמעים באובייקטים שונים ומכיוון שאיננו יכולים לחבר מקלדת ועכבר לכל אובייקט סביבנו, אנו צריכים למצוא ממשקים אחרים. הפיתרון הנוכחי לקיום אינטראקציה עם חפצים חכמים, המכונה IoT, הוא באמצעות זיהוי קולי שיש בו כמובן מגבלות כמו שימוש ציבורי. בואו נסתכל על השיטות שחוקרים וחברות עובדות כרגע.

לגעת

ההתקדמות בטכנולוגיית ריבוי מגע ותנועות רב מגע (כמו צביטה) הפכו את מסך המגע לממשק האהוב. חוקרים וסטארט-אפים עובדים על חוויית מגע טובה יותר, החל מהבנתך עד כמה המגע שלך נוקשה, איזה חלק מהאצבע שלך נוגע ואילו האצבע שלו נוגעת.

המגע התלת-ממדי של אייפון מזהה כוח. מקור ג'יפי.

קול

DARPA מימן מחקר בתחום זה בשנות ה -70! אבל הקול עד לאחרונה לא היה מועיל. בזכות הלמידה העמוקה, עכשיו יש לנו די טוב בזיהוי קולי. האתגר הגדול ביותר עם הקול ברגע זה הוא לא לתמלל, אלא לתפוס משמעות על בסיס ההקשר.

עין

במעקב אחר העיניים, אנו מודדים את המבט (איפה מסתכלים) או את תנועת העין ביחס לראש. עם הפחתה בעלות המצלמות והחיישנים וכן הפופולריות הגוברת של משקפי מציאות מדומה, מעקב אחר העיניים כממשק הופך להיות שימושי.

טוביי, שהייתה הנפקה בשנת 2015, עובדת עם יצרני מוצרי צריכה אלקטרוניים כדי להטמיע את טכנולוגיית מעקב העיניים שלהם. מקור תמונה: פליקר.

מחווה

בקרת מחוות היא הממשק האנושי-מחשב הקרוב לליבי. עשיתי באופן אישי מחקר מדעי על שיטות שונות לבקרת מחוות. חלק מהטכנולוגיות המשמשות לאיתור מחוות הן:

יחידת מדידת אינרציה (IMU)

הנתונים ממד תאוצה, גירוסקופ ומצפן (כולם או חלקם) משמשים לגילוי מחוות. הצורך בכיול מחדש ובדיוק נמוך יותר הם חלק מהבעיות בשיטה זו.

אינפרא אדום + מצלמה (חיישן עומק)

רוב מערכות גילוי המחוות המגניבות שראינו משתמשות בשילוב של מצלמה באיכות גבוהה פלוס תאורה אינפרא אדום ומצלמת אינפרא אדום. בעיקרון איך זה עובד זה שהוא מקרין אלפי נקודות קטנות בסצנה, ובהתבסס על כמה רחוק אובייקט הוא העיוות שונה (יש שיטות שונות כמו ToF שלא אכנס). קינקט, RealSense של אינטל, Leap Motion, הטנגו של גוגל, כולם משתמשים באיזושהי וריאציה של הטכנולוגיה הזו.

Leap Motion הוא מכשיר צרכני לבקרת מחוות.אפל עשתה צעד אחד קדימה על ידי הטמעת כל זה במצלמה הקדמית של אייפון X עבור FaceID.

שדה אלקרומגנטי

בשיטה זו אצבעו או גופו של המשתמש פועלים כאובייקט מוליך המעוות שדה אלקטרומגנטי המופק על ידי הצבת אנטנות משדר ומקלט לאובייקט.

מכ"מים

מכ"מים משמשים זה מכבר למעקב אחר חפצים, ממטוסים לספינות ומכוניות. קבוצת הטכנולוגיה והפרויקטים המתקדמים של גוגל (ATAP) של גוגל עשתה עבודה ראויה לציון על ידי כיווץ הרדאר למיקרו-שבב 8 מ"מ על 10 מ"מ. ניתן להטמיע ערכת שבבים כללית של בקרת תנועה בתוך שעונים חכמים, טלוויזיות ואובייקטים אחרים למעקב אחר תנועות.

פרויקט סולי של Google ATAP. מקור: האתר של סולי.ממשק מכונת שרירים ממעבדות תלמיות. מקור: הסרטון של תלמי.

ביוסיגנלים

אם עדיין לא עשתה לך WOW, בוא נקח את זה עוד יותר. כל השיטות שהוזכרו לעיל, מודדות ומאתרות תוצר לוואי של מחוות הידיים שלנו.

על ידי עיבוד האותות המגיעים ישירות מהעצבים בשרירים שלנו, אנו יכולים להתקרב צעד אחד יותר לכוונה.

משטח EMG (sEMG) שנרכש על ידי הנחת חיישנים על העור מעל שריר הזרוע / תלת ראשי או הזרוע שלך, מקבל אות מיחידות מוטוריות שרירים שונות. בעוד ש- SEMG הוא איתות רועש מאוד, ניתן לאתר מספר מחוות.

Myo by Thalmic Labs הייתה אחת החברות הראשונות שפיתחו מכשיר צרכני המבוסס על sEMG. מקור אימגור.

באופן אידיאלי, תרצו ללבוש את החיישנים על פרק כף היד. השרירים בפרק כף היד עמוקים ככל שיהיו, ולכן קשה להשיג אות שיכול לשמש במדויק לגילוי מחוות.

חברה חדשה, המכונה מעבדות CTRL, מבצעת את בקרת המחוות מאותות ה- SEMG של שורש כף היד. המכשיר של מעבדות CTRL מודד את אות ה- SEMG ומגלה את הכונן העצבי שמגיע מהמוח שמאחורי תנועה זו. זהו צעד אחד קרוב יותר למוח. בעזרת הטכנולוגיה שלהם, תוכלו להכניס את הידיים לכיסים ולהקליד את הטלפון.

ממשק מחשב ומוח

בשנה האחרונה קרה הרבה. DARPA מוציאה 65 מיליון דולר למימון ממשקים עצביים. אלון מאסק גייס 27 מיליון דולר עבור Neuralink, קרנל קיבלה מימון של 100 מיליון דולר ממייסדה בריאן ג'ונסון, ופייסבוק עובדת על ממשק מחשב מוח. ישנם שני סוגים מאוד ברורים של BCI:

BCI לא פולשני

ElectroEncephaloGraphy (EEG) מקבל אות מהעור בקרקפת.

זה כמו לשים מיקרופון מעל אצטדיון כדורגל. לא תדעו על מה כל אחד מדבר, אבל אתם מסוגלים להבין אם הובקע שער (מהריאות והחיאות הקוליות!).

ממשקים מבוססי EEG לא באמת קוראים את דעתך. לדוגמה, פרדיגמת ה- BCI המשמשת ביותר היא מכשיר ה- P300 Speller. אתה רוצה להקליד את האות "R"; המחשב מראה באופן אקראי תווים שונים; ברגע שאתה רואה "R" על המסך, המוח שלך מופתע ופולט אות מיוחד. זה חכם, אבל לא הייתי קורא לזה "קריאת מחשבות" מכיוון שאיננו יכולים לאתר חשיבה על "R", אלא מצאנו טריק קסם שעובד.

חברות כמו Emotiv, NeuroSky, Neurable וזוג אחרות פיתחו אוזניות EEG ברמה צרכנית. בניין 8 של פייסבוק הודיע ​​על פרויקט בנושא הקלדת מוח שמשתמש בטכניקת חישה מוחית נוספת הנקראת פונקציונלית Near Infrared Spectroscopy (fNIRS) שמטרתה להגיע למהירות של 100 מילים לדקה.

ניתן לעצב. מקור: אתר עצבני

BCI פולשני

זהו הממשק האולטימטיבי למחשבי אנוש ופועל על ידי הכנסת אלקטרודות למוח, עם זאת, יש אתגרים רציניים להתגבר עליהם.

סרט דוח מיעוטים. פליקר.

אתגרים

יתכן שנדמה היה לך כי בהתחשב בכל הטכנולוגיות המעניינות שהוזכרו לעיל, מדוע אנו עדיין מוגבלים לשימוש במקלדת ובעכבר. ישנן תכונות מסוימות ברשימת הבדיקות בהן יש לתקתק עבור טכנולוגיית אינטראקציה בין אדם למחשב כדי לפלס את דרכה לשוק המוני.

דיוק

האם היית משתמש במסך מגע כממשק הראשי אם הוא רק עובד 7 מתוך 10 פעמים? כדי שממשק ישמש כממשק הראשי הוא זקוק לדיוק גבוה מאוד.

חביון

דמיין לרגע שהאותיות שאתה מקליד במקלדת מופיעות שנייה לאחר שלחצת על המקש. רק ששנייה אחת תהרוג את החוויה. ממשק מחשב אנושי שיש לו יותר מכמה מאות אלפיות השנייה בהשהיה הוא פשוט חסר תועלת.

אימונים

ממשק מחשב אנושי לא אמור לדרוש מהמשתמש להקדיש זמן רב ללימוד מחוות חדשות (כלומר ללמוד מחווה לכל אות האלף-בית!)

משוב

צליל הלחיצה של המקלדת, הרטט של טלפון, צליל הצפצוף הקטן של עוזר קולי, כולם מתכוונים לסגור את לולאת המשוב. לולאת המשוב היא אחד ההיבטים החשובים ביותר בכל עיצוב ממשק שלעתים קרובות משתמעת המשתמשים. המוח שלנו ממשיך לחפש אישור כי פעולתו הניבה תוצאה.

אחת הסיבות שקשה מאוד להחליף את המקלדת באמצעות מכשיר כלשהו לבקרת תנועה היא היעדר לולאות משוב חזקות.

עתיד הממשקים בין מחשבים אנושיים

בגלל האתגרים שהוזכרו לעיל, נראה שאנחנו עדיין לא בעמדה להחליף מקלדות, לפחות עדיין לא. זה מה שאני חושב שעתיד הממשקים יהיה:

  • Multimodal: אנו משתמשים בממשקים שונים בהזדמנויות שונות. אנו עשויים להמשיך להשתמש במקלדת להקלדה, מסכי מגע לרישום ועיצוב, קול לצורך אינטראקציה עם העוזרים האישיים הדיגיטליים שלנו, בקרת תנועה מבוססת מכ"ם במכונית, בקרת תנועה מבוססת שרירים למשחקים ו- VR, וממשקי מחשב-מוח לבחירה המוסיקה הטובה ביותר לנגן לפי מצב הרוח.
  • מודע מבחינה קונטקסטית: קראת מאמר במחשב הנייד שלך על שריפות בר בצפון קליפורניה ואז שואל את העוזר הקולי שלך באוזניות החכמות שלך "כמה סוער שם בפנים?" זה צריך להבין שאתה מתכוון לאיפה השריפות.
  • אוטומטית: בעזרת AI, המחשב היה משתפר בחיזוי מה אתה מתכוון לעשות, כך שאתה אפילו לא צריך לפקוד עליו. זה יידע שאתה צריך מוזיקה מסוימת שתושמע כשאתה מתעורר, כך שאתה אפילו לא צריך ממשק כדי למצוא ולנגן שיר בבוקר.

אני יזם בעמק הסיליקון והתשוקה שלי היא אינטראקציה בין אדם למחשבים. ביצעתי מחקר על ממשקי מחשב ומוח, ממשקי מכונת שרירים והתקני בקרת מחוות. אני מפרסם על יזמות, הון סיכון וטכנולוגיות חדשות. אנא עקבו אחרי בלינקדאין, טוויטר ומדיום.