ב-GTC Taipei ו-Computex היום, NVIDIA Corp. חשפה כמה-מיומנויות וכלים פיזיים של בינה מלאכותית בקוד פתוח כדי לעזור למפתחי רובוטיקה, כלי רכב אוטונומיים, בינה מלאכותית חזותית ותאומים דיגיטליים תעשייתיים. החברה טענה שהם יכולים לעזור להפחית את העלויות, הזמן והמורכבות של בניית זרימות עבודה פיזיות של AI בקנה מידה.
זמין כחלק מ-ערכת הכלים לסוכן NVIDIA, המיומנויות החדשות יאפשרו לסוכני בינה מלאכותית להאיץ את יצירת הנתונים, סימולציה, הדרכה, הערכה ופריסה מאחורי רובוטים, כלי רכב אוטונומיים (AVs), מפעלים ומעבדות, אמרה החברה.
"סוכני AI מחוללים מהפכה בפיתוח תוכנה, והשינוי הזה מגיע כעת לבינה מלאכותית פיזית, ומתרחב למערכות שיהפכו את התחבורה, הייצור, שירותי הבריאות והרובוטיקה", אמר Jensen Huang, מייסד ומנכ"ל NVIDIA, ב-GTC Taipei. "כאשר סוכנים יכולים להשתמש ישירות בספריות, במודלים ובמסגרות של NVIDIA, פיתוח בינה מלאכותית פיזית יעבור מהר יותר, ויאפשר למפתחים לבנות את הרובוטים, הרכבים האוטונומיים והמערכות התעשייתיות של העתיד בקצב מדהים".
"בינה מלאכותית פיזית דורשת כמויות אדירות של נתוני אימון בסביבות מגוונות", ציין הכומר לברדיאן, סגן נשיא לסימולציית בינה מלאכותית פיזית ב-NVIDIA. "נתונים בקנה מידה של טלאופרציה, סימולציה -אינטרנט מובילים למודלים של יסודות עולמיים למגוון אינסופי של מקרי שימוש."
NVIDIA מכין סוכן ערימת AI פיזי-
NVIDIA אמרה שהיא מייעלת את כל ערימת הבינה המלאכותית הפיזית שלה עבור סוכנים על ידי הפיכת ספריות, מודלים ומסגרות לכלים-ניתנים להתקשרות של סוכנים. זה כולל:
NVIDIA Cosmos3 מודלים של יסודות עולמיים לחשיבה ויצירת עולם פיזי
NVIDIA Omniverseספריות לסימולציה ותאומים דיגיטליים
NVIDIA אייזקלהדמיית רובוטיקה ולמידת רובוטים
מטרופולין NVIDIAעבור vision AI
NVIDIA Alpamayoעֲבוּרנהיגה אוטונומית
NVIDIA Jetsonפלטפורמה לפיתוח AI קצה
"קוסמוס 3 הוא המודל הבסיסי ל-AI פיזי", אמר לברדיאן. "הוא מבין סרטונים וטקסט ויכול לסמן את מה שחשוב. קוסמוס הוא סימולציה מדויקת פיזית ומסוגל לחזות מה יקרה אחר כך וליצור פעולות".
כדי לסייע ביישום הכלים הללו, NVIDIA משיקהכישורים חדשיםלהפוך תהליכי פיתוח בינה מלאכותית פיזית להוראות שניתן לחזור עליהן שסוכני קידוד יכולים לעקוב אחריהם. זה כולל לאילו כלים להתקשר, אילו תפוקות לייצר וכיצד מפתחים יכולים לאמת תוצאות.
מפתחים יכולים גם לבנות ולפרוס סוכנים אוטונומיים בבטחה תוך שימוש במיומנויות אלה עםNVIDIA NemoClawשרטוט וה-NVIDIA OpenShellריצה, המספק{0}}ניהול אבטחה ופרטיות מבוסס מדיניות על חומרה מקומית או ענן. הסוכנים יפעלו על הקצה בג'טסון וכבר הפגינו שיפורים בזמן הפעולה, אמר לברדיאן.
NVIDIA אמרה כי כישורי הבינה המלאכותית והכלים הפיזיים שלה מאיצים את הפיתוח הסוכני על פני:
רובוטיקה ו-Edge AI:מפתחי רובוטים יכולים להשתמש במיומנויות כדי להאיץ את כל צינור הפיתוח של הרובוטיקה, מיצירת נתוני אימון תפיסה וניידות ועד סימולציה, אוטומציה של אימון ניווט, קידום למידת רובוטים וכוונון מערכות קצה מבוססות Jetson- לפריסה.
רכבים אוטונומיים:עבור מפתחי AV, מיומנויות יכולות לכוון סוכנים לשחזר נתונים שנלכדו על ידי ציים לתוך סביבות סימולציה, ליצור תרחישי נהיגה פוטו-ריאליסטיים בקנה מידה, ולהפעיל למידה סגורה של חיזוק-בלולאה כדי להרחיב את כיסוי ההדרכה וההערכה.
סוכני בינה מלאכותית של ראיית-זמן אמת:עבור בדיקה אוטומטית ומודיעין וידאו, NVIDIA אמרה כי כישורי הסוכנים שלה יכולים לעזור לצוותים ליצור נתוני אימון סינתטיים, -לכוון מודלים, להפוך תיוג לאוטומטי ולבנות סוכני AI וידאו שמחפשים, מסכמים ומנתחים וידאו חי או מוקלט.
AI תעשייתי:מפתחי תוכנה תעשייתיים יכולים להשתמש במיומנויות אלה כדי להמיר נתונים הנדסיים לנכסי תכנון-במחשב (CAD) עבור הדמיית תאומים דיגיטליים, תוך אופטימיזציה של סצנות OpenUSD גדולות עם פחות הגדרה ידנית.
שירותי בריאות:לפני פריסת אוטומציה בסביבות קליניות, צוותי שירותי בריאות יכולים להדריך סוכנים דרך יצירת תאומים דיגיטליים של סביבות בית חולים, סימ-ל-יצירת נתונים אמיתיים ותוכנה-ב-בדיקת מדיניות-לולאה.
ניתן לשלב את המיומנויות ולשלב אותן במערכות אגנטיות גדולות יותר, לפי NVIDIA. זה מאפשר למפתחים לתזמר ולהפוך זרימות עבודה מורכבות לאוטומטיות כגון הפקת נתונים, סימולציה, אופטימיזציה, כוונון מסקנות, הערכה רציפה ועוד.
מפתחי רובוטיקה קולטים ערימת AI פיזית
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI ו-Universal Robots הן בין חברות הרובוטיקה שכבר משתמשות במחסנית הבינה המלאכותית הפיזית של NVIDIA-.
"עם עדכוני מחסנית ב-NVIDIA Isaac GR00T, ניתן להגדיר זרימות עבודה חדשות מקצה-ל- תוך שעות לעומת שבועות", אמר לברדיאן. "'Omni-modal' פירושו שהוא עובד עם מצבים שונים - וידאו, חיישנים, טקסט וסאונד עבור קלט ויציאות פעולה."
בנוסף, Foxconn ו-Compal משתמשות ב-NVIDIA Isaac for Healthcare כדי להאיץ את הרובוטיקה של בתי החולים. קומפל מקדמת את תהליך הפיתוח של הרובוט PolyMedX שלה לעבר פלטפורמת תזמור רחבה של בית חולים-, המשלבת סימולציה, בינה מלאכותית ופעולות- בעולם האמיתי.
Foxconn מרחיבה את Nurabot בכמה בתי חולים ובסביבות טיפול-ארוכות טווח, מביאה רובוטיקה מונעת בינה מלאכותית- לטיפול בחולים, כמו גם מציגה את הרובוט החדש של Scrub Nurse Collaborative Robot כדי לסייע באופטימיזציה של זרימות העבודה בחדר הניתוח.
מובילי התעשייה בונים עם טכנולוגיות NVIDIA
שותפי NVIDIA ולקוחות בתחומי ייצור, תחבורה, בריאות ותוכנות תעשייתיות משתמשים בספריות ה-AI הפיזיות שלה כדי לקדם את הפיתוח של מערכות אוטונומיות ו-AI תעשייתי.
כאשר ספריות אלה הופכות להיות מוכנות לסוכן-, מפתחים יכולים להשתמש במיומנויות NVIDIA כדי לעזור לסוכנים להפוך את ההגדרה, הביצוע והאיטרציה לאוטומטיים בתהליכי עבודה פיזיים מורכבים של AI.
בייצור אלקטרוניקה, TSMC ו-Pegatron הם -כוונון עדין של דגמי בדיקה חזותית. לפי הדיווחים, Pegatron הפחיתה את זמן ההכשרה והפריסה של המודל ב-67% באמצעות נתונים סינתטיים שנוצרו מהמיומנות של Defect Image Generation.
דלתא אלקטרוניקה ייצרה נתוני פגמים סינתטיים והשתמשה במיומנות כדי לתפוס הלחמה עודפת על פסי מתכת, ושיפרה את שיעור הזיהוי ב-17%. Inventec פיתחה את צינור הפיקוח הוויזואלי שלה Observation Agent על ידי שילוב מיומנות יצירת תמונות הפגמים, והפחתה ב-30% את מאמצי איסוף נתוני הפגמים לייצור שלדות מחשב נייד.
פוקסקון, שעבדה עם DeepHow, השתמשה במיומנות כדי לשפר את יעילות הייצור על ידי זיהוי מוקדם של שגיאות, והעלתה את תפוקת המעבר הראשון בכ-3%.
בבינה מלאכותית תעשייתית, Cadence, דאסו סיסטמס, סימנס וסינופסיס משתמשות בספריות ובמיומנויות של NVIDIA Omniverse לבדיקת נתונים הנדסית, סימולציה ותאומים דיגיטליים אינטראקטיביים. PTC, MetAI ו-Lightwheel מקישות על מסגרת NVIDIA Isaac Sim ועל זרימות עבודה מבוססות -OpenUSD כדי להפוך נתוני CAD לנכסים וסביבות מוכנות לסימולציה{{2}.
כחלק ממפת הדרכים "Autonomous Fab 2030" שלה, SK hynix מיישמת תאומים דיגיטליים עם מוליכים למחצה באמצעות NVIDIA Omniverse. יצרנית השבבים גם משתפת פעולה עם NVIDIA ו-SK Telecom כדי לאמת את ערכת הכלים של NVIDIA Agent לייצור -AI פיזי ספציפי.
המפתחים -הנהיגה עצמית Li Auto, Afari ו-DeepRoute.ai משתמשים במודלים של NVIDIA Omniverse NuRec לשחזור ורינדור של סצינות עצביות. הם יצרו יותר מ-1,000 שחזורים ויותר מ-300,000 רינדורים וסימולציות ביום.
בנוסף, חברות ה-AV משתמשות במאגר מיומנויות הסוכנים החדש כדי להאיץ ולשפר את הפיתוח שלהן של מערכות נהיגה אוטונומיות בטוחות ובעלות יכולת גבוהה יותר. Foxconn, VinFast, Uber ו-HUMAIN הצטרפו למערכת האקולוגית של NVIDIA DRIVE Hyperion כדי לפתח ולפרוס רובוט-ציר SAE Level 4.
Alpamayo 2 Super הורד כבר למעלה מ-500,000 פעמים והוא זכה בתואר "הטכנולוגיה הטובה ביותר" ב-Computex, אמר ספנסר הואנג, מנהל המוצר לרובוטיקה ב-NVIDIA.
כלי סוכני AI פיזיים זמינים כעת
NVIDIA אמרה שהכלים והכישורים הפיזיים של סוכני הבינה המלאכותית שלה זמינים דרךGitHubומיומנויות.שלשימוש עם כל סוכן קידוד.
כישורי סוכן וכלים ליצירת נתונים סינתטיים -שחזור עצבי, הגדלת וידאו, יצירת תמונה פגומה- זמינים גם ב-NVIDIA Brev asהפעלה פיזית של AI, סביבות מוגדרות מראש המאגדות מיומנויות וכלים של סוכנים להפקה והערכה של נתונים סינתטיים מהירים יותר.
מיקרוסופט,CoreWeave, ונביוסמשלבים את כישורי הסוכן והכלים הללו עם שירותי הענן שלהם כדי לאפשר למפתחים לייעל ולהרחיב את היצירה והפריסה של נתונים סינתטיים.
Unitree humanoid ההתייחסות עבור NVIDIA Isaac GR00T
NVIDIA הכריזה גם על ה-NVIDIA Isaac GR00T Reference Humanoid Robot, עיצוב ייחוס רובוט דמוי אדם פתוח שנבנה על NVIDIA Jetson Thor ופלטפורמת הפיתוח של NVIDIA Isaac GR00T. החברה אמרה שזה יעזור לדמוקרטיזציה של גישה לחומרה ותוכנה מתקדמות מבלי להידרש לפלטפורמות קנייניות יקרות כעניין בדמויי אנוש למטרות כלליות-עולה.
NVIDIA שילבה גוף רובוט בגודל מלא-עם מניפולציה מיומנת, חישה, בקרה ומחשוב בינה מלאכותית:
שלדה דמוי אדם Unitree H2,בגובה של כמעט 6 רגל (1.8 מ') ומשקלו 150 פאונד (68 ק"ג), עם 31 דרגות חופש לבדיקות בקנה מידה אנושי.-
כָּפוּלגל שרפהידיים עם חמש-אצבעות מישוש,מאפשר מניפולציה זריזה עם 22 דרגות חופש והבאת הרובוט ל-75 דרגות חופש על פני הגוף והידיים.
חישת ריבוי-צפיות,כולל מצלמת סטריאו-לראש עם שדה ראיה רחב (140 מעלות אופקי, 102 מעלות אנכית), מצלמות פרק כף היד למניפולציה בטווח-קרוב ויחידת מדידת אינרציה למעקב אחר תנועה.
שליטה-בכל הגוף,עם מומנט זרוע של עד 120 ניוטון-מטר, מומנט רגל של עד 360 ניוטון-מטר, עומס מדורג של זרוע של 7 ק"ג (15.4 פאונד) ומטען שיא של 15 ק"ג (33 פאונד), פתיחת נעילת הרמה ויכולת הגעה גבוהה יותר.
מחשב מובנה של NVIDIA Jetson AGX Thor T5000,כולל NVIDIA Blackwell GPU עם 2,070 FP4 teraflops של ביצועי בינה מלאכותית, מעבד 14- ליבות Arm, 128GB של זיכרון מאוחד וטווח הספק ניתן להגדרה של 40 עד 130 וואט לעיבוד חיישנים בזמן אמת והסקת רובוטים.
קישוריותדרך Ethernet, Wi-Fi 6, Bluetooth 5.2, USB ומערך של מיקרופונים ורמקולים לאינטראקציה קולית.
סוללה לפעולה ממושכת,עם קיבולת של 15Ah, 0.972kWh וכשלוש שעות חיים.
ב-עצירת חירום מרחוקפונקציה לניתוק מהיר של הרובוט בבטחה.
פלטפורמת Isaac GR00T כוללת:
NVIDIA Isaac Teleopכדי ללכוד-נתוני הדגמה רובוטים באיכות גבוהה לצורך הדרכה ופיתוח מדיניות.
דגמי בסיס פתוחים של NVIDIA Isaac GR00Tלתמוך בהיגיון אנושי, למידה והתנהגות ריבוי משימות.
NVIDIA אייזק סים ומעבדת אייזקלדמות, לאמן, לבדוק ולהעריך מדיניות רובוט לפני פריסה- בעולם האמיתי.
תוכנת ביניים מואצת של NVIDIA Isaac ROSלהעביר מדיניות מאומנת לרובוטים.
NVIDIA Jetson Thorלהפעיל-זמן אמת, על-הסקת רובוט ובקרה.
המערכת תוכננה להיות מודולרית, כך שצוותי רובוטיקה יכולים להשתמש בפלטפורמה המלאה או לשלב יכולות נבחרות בצינורות הפיתוח הקיימים, ולעזור להם להגדיל את הפיתוח האנושי מבלי לבנות מחדש את אותה תשתית עבור כל רובוט או משימה.
מוסדות מחקר מובילים כולל Ai2, ETH ציריך, Stanford Robotics Center ומעבדת רובוטיקה ובקרה מתקדמת של UC San Diego מתכננים להשתמש בתכנון התייחסות זה לקידום מחקר רובוטיקה דמוי אדם.
"כדי להתקדם לעבר רובוטים למטרות כלליות-, החוקרים זקוקים לפלטפורמות שהן יכולות והן נגישות באופן רחב", אמר Deepak Pathak, מייסד-שותף ומנכ"ל Skild AI. "עיצוב התייחסות מאפשר ליותר חוקרים להשתתף במחקר הומניאיד חזיתי ולעבור מרעיונות לניסויים מהר יותר. זה עוזר לדחוף את כל המערכת האקולוגית של מחקר הרובוטיקה קדימה".