פרוטוקול של ישיבת ועדה


הכנסת



24
ועדת המדע והטכנולוגיה
12/06/2023

הכנסת העשרים-וחמש

מושב ראשון



פרוטוקול מס' 15
מישיבת ועדת המדע והטכנולוגיה
יום שני, כ"ג בסיון התשפ"ג (12 ביוני 2023), שעה 12:30

בינה המלאכותית: סיכונים, הזדמנויות ושאלת הרגולציה

חברי הוועדה: אורית פרקש הכהן – מ"מ היו"ר
יאסר חוג'יראת
עידן רול

בועז טופורובסקי
אלון שוסטר
מיכל שיר סגמן

פרופ' אבי דומב - מדען ראשי, משרד החדשנות, המדע והטכנולוגיה

איתן טי - סמנכ"ל תכנון, משרד החדשנות, המדע והטכנולוגיה

דני חורין - יועמ"ש, משרד החדשנות, המדע והטכנולוגיה

הדסה גטשטיין - רמ"ט מנכ"ל, משרד החדשנות, המדע והטכנולוגיה

ד"ר זיו קציר - מנהל התכנית הלאומית לבינה מלאכותית, רשות החדשנות

צפריר נוימן - יועמ"ש, רשות החדשנות

לי צילה קפון דפני - המחלקה המשפטית, רשות החדשנות

ד"ר ניל נמיר - יועץ מדיניות מו״פ, המועצה הלאומית למחקר ולפיתוח אזרחי

יעל רגב - מחלקת השקעות ושוק ההון, משרד האוצר

אל"מ עידן בצלאל - רמ"ח תקשוב, משרד הביטחון

מאיר לוין - משנה ליועץ המשפטי לממשלה, משפט כלכלי, משרד המשפטים

יוסף גדליהו - רפרנט טכנולוגיה ומדיניות רגולציה, משרד המשפטים

רונית נחמיה - ממונה התכנית הלאומית להתאמת מערכת החינוך למאה ה-21, משרד החינוך

לבקה חלבי חסון - מ"מ הממונה האזורית על יחסי עבודה, מחוז ת"א והמרכז, משרד העבודה

שירי גלר בר - יועצת משפטית, מערך הדיגיטל הלאומי

אמיר וסרמן - יועץ משפטי, רשות ניירות ערך

ד"ר נעמי בק - סמנכ"ל אסטרטגיה ובין-לאומיות, המועצה להשכלה גבוהה, ות"ת

מאיה שוורץ - מנכ״לית, איגוד ההיי-טק הישראלי

פרופ' מארק פאגן - מרצה בבית הספר לממשל, אוניברסיטת הרווארד

ד"ר יובל פינטר - מרצה בכיר, המחלקה למדעי המחשב, הפקולטה למדעי הטבע, אוניברסיטת בן גוריון

ד"ר אורן צור - חוקר עיבוד שפה טבעית ורשתות חברתיות, אוניברסיטת בן גוריון

ד"ר לירן ענתבי - מנהלת תוכנית טכנולוגיות מתקדמות, המכון למחקרי ביטחון לאומי

ד"ר טל מימרן - ראש תכנית, מכון תכלית למדיניות ישראלית

גל דהן - עוזר מחקר, מכון תכלית

גאיה הררי הייט - ראש תחום מדיניות ורגולציה, SNPI

ליאת גלזר - מנהלת קשרי ממשל ומדיניות ציבורית, גוגל ישראל

אושר עשור - מנהל מחלקת סייבר, Auren ישראל

אמיר בהלול - דירקטור חדשנות AI, חברת אוגור

דוד גולן - יזם ומייסד חברת Viz.ai

תומר גל - מנכ"ל חברת אופטימייזר ובוחן ברשות החדשנות בתחום בינה מלאכותית

אורלי אלידן הראל - מנכ"לית סטארט-אפ סרנוס AI

ענבל שינפלד - משקיעת הון סיכון בחברות הזנק

יהודה קונפורטס
רועי גולדשמידט

–
–
עורך ראשי, אנשים ומחשבים
ראש תחום מחקר ומידע, מרכז המחקר והמידע (ממ"מ), הכנסת

טל ורנר קלינג - ראש אשכול, ייעוץ וחקיקה משפט בין-לאומי, משרד המשפטים

ניר גרסון - ס' מנהל מחלקת יעוץ משפטי ואסדרה, הרשות להגנת הפרטיות

פרופ' יהונתן אומן - מרצה וחוקר, המחלקה למדעי המחשב, אוניברסיטת בר אילן

ד"ר אורנה ברי - יזמית הייטק, לשעבר המדענית הראשית במשרד הכלכלה

נירה לאמעי רכלבסקי
ראש תחום מחקר ומידע, מרכז המחקר והמידע (ממ"מ), הכנסת

איילת חאקימיאן

מוריה אביגד

רשימת הנוכחים על תואריהם מבוססת על המידע שהוזן במערכת המוזמנים הממוחשבת. ייתכנו אי-דיוקים והשמטות.

סיכונים, הזדמנויות ושאלת הרגולציה

צהריים טובים לכולם, אני שמחה לפתוח את ישיבת ועדת המדע והטכנולוגיה בנושא המאוד חשוב "בינה מלאכותית: סיכונים, הזדמנויות ושאלת הרגולציה". היום זהו הדיון ראשון בסדרה של דיוני עומק שהוועדה תקיים בנושאים ספציפיים.

כשרת החדשנות לשעבר עסקתי בנושא של בינה מלאכותית עם כניסתי לתפקיד בממשלה הקודמת. למעשה, כבר בחוק ההסדרים הראשון, באוגוסט 2021, העברנו פרק, למיטב ידיעתי ראשון מסוגו, בחוקי ההסדרים, עם סדרת החלטות שונות בנושא הבינה המלאכותית בישראל. התקיים דיון אסטרטגי במל"ל, המועצה לביטחון לאומי, בנושא בינה מלאכותית והוחלט, אחרי דיון פנים-ממשלתי במעורבות ראש הממשלה דאז, לקבוע שר ומישהו שיוביל את התחום הזה, שמרכיב כל כך הרבה בעלי עניין ושחקנים משמעותיים בממשלה, כפי שנראה היום.

המטרה הייתה שישראל תרתום את הטכנולוגיה הזו – שמהווה מהפכה, לא פחות מזה, ומתרחשת כאן ועכשיו וקורית מאוד מאוד מהר – גם לטובת התעשייה, גם לטובת המדינה והממשלה וגם לטובת איכות החיים של כולנו, שהמדינה תהיה מדינה מובילה בעניין הזה. התחלנו מספר צעדים בנושא: תוכנית לאומית לבינה מלאכותית שסיכמתי עם שר האוצר דאז ליברמן, אישרנו בהחלטת הממשלה את הצעדים הראשונים של פורום תל"מ החשוב לקידום מכרז מחשב-העל וקבענו יעדים בנושא האקדמיה. אני כשרה הצטרפתי באותה שנה לארגון שרים בין-לאומיים, ארגון סלקטיבי, לא כל המדינות מתקבלות אליו, ארגון GPAI האירופי שעוסק בקביעת מדיניות בתחום הבינה המלאכותית.

בספטמבר 2022, אם אתם זוכרים, הגיע הנשיא ביידן למדינת ישראל ונתן את הצהרת ירושלים, ששמה דגש על חיזוק שיתוף הפעולה הטכנולוגי בהייטק בין מדינת ישראל לבין הממשל האמריקאי, והדבר הזה הוביל לקבוצות עבודה שהתנענו בנושא בינה מלאכותית בוושינגטון. שמנו דגש על הסכמים בין-לאומיים לבינה מלאכותית, למשל עם סינגפור, וממש בתום תקופת הכהונה, באוקטובר 22, פרסמתי מטעם הממשלה, וכמובן בעבודה מאוד מאומצת של כל נציגי הממשלה שאתם תתרשמו פה מהעבודה החשובה שלהם, ויחד עם משרד המשפטים, בפעם הראשונה מדיניות ממשלתית בנושאי אתיקה ורגולציה של בינה מלאכותית, עם התנעת תהליכים.

אבל מאז ועד היום עברו פחות משמונה חודשים ואני חייבת להגיד שאפילו אני לא דמיינתי את קצב ההתפתחות והחדירה של הטכנולוגיה הזו. בחודשים האחרונים – אתם רואים כאן בשקף הזה ובשקף הבא – יש לנו קפיצת מדרגה מטורפת בקצב החדירה של תוכנות כמו צ'אט GPT ואחרות. תראו למשל בשקף הזה שהזמן שלקח לצ'אט GPT לצבור מיליון משתמשים היה 5 ימים. לנטפליקס, למשל, זה לקח 3.5 שנים. זה לא בדיוק אותו דבר אבל כשאנחנו רואים את הקצבים זה באמת משהו שהוא אחר.

הטכנולוגיה שה- generative AIיוצרת הפכה זמינה למשתמשים ברחבי העולם בפלטפורמות מובילות שהולכות ומתרבות. הדבר הזה משפיע בצורה דרמטית גם על חברות טכנולוגיה בארץ ובעולם שנדרשות להתאים את פעילותן העסקית ולהישאר תחרותיות בעידן הבינה המלאכותית. כמובן שזה מטיל אתגר על מדינת ישראל להיות מובילה בנושא הזה.

בנוסף, כמו שכולכם יודעים, מתקיים דיון ציבורי סוער בכל העולם, במדינות שונות, לגבי ההזדמנויות שהטכנולוגיה הזו מביאה אלינו אל מול האתגרים. כך למשל כולכם בוודאי עקבתם אחרי מכתבים שיצאו מראשי תעשיית ההייטק העולמית, אילון מאסק ואחרים, שני מכתבים, במרס ובחודש מאי, שראשי הטכנולוגיה, התעשייה, מזהירים מפני סכנות ה-AI, אפילו עד כדי סיכון להכחדת האנושות וקראו לעצור זמנית את פיתוח הבינה.

לעומת זאת, צריך להגיד שלא מעט חוקרים חושבים שהבינה המלאכותית תעשה את העולם טוב יותר ויש אפילו מאמר של מארק אנדרסון שאומר ש-AI תציל את העולם. אותו דיון ער ודרמטי מתקיים גם לגבי המדיניות הממשלתית והעולמית לנושא ה-AI. גם בזה אנחנו בימים דרמטיים. השבוע הפרלמנט האירופי צפוי לפרסם חוק בינה מלאכותית ואני מניחה שנשמע כאן בהרחבה על הנושא הזה.

הדיון היום מבחינתי הוא דיון חשוב ביותר כי תהיה לנו הזכות לשמוע נציגים רבים מתוך הממשלה שבו ניישר קו ונשמע איפה הדברים עומדים, כיצד מתקדמות התוכניות השונות, ונעקוב ונבין היכן עומדת העשייה הממשלתית בנושא הזה ומה קרה עם כל הדברים שהוצאנו לדרך. נשמע את משרד החדשנות, רשות החדשנות, משרד המשפטים, ות"ת, מפא"ת של משרד הביטחון, הרשות לניירות ערך. אני חושבת שכבר אתם מתחילים להבין כמה שחקני מפתח יש במדינת ישראל, זה גם בהייטק אבל בפרט בנושא החשוב הזה, וכל אחד יעדכן לגבי הנושא, כשהמטרה היא גם לעקוב וגם לחזק את העשייה שהתחילה. אנחנו גם נשמע את ד"ר אורנה ברי, שהייתה ממכינות תוכניות היסוד שעמדו בבסיס הרבה מאוד דברים שעשינו בבינה מלאכותית. היא מהראשונות שעשתה תוכנית, ביחד עם צוות כמובן, בשנת 2021. נמצא אתנו כאן גם פרופ' פאגן מאוניברסיטת הרווארד – תודה שהגעת – ונציגי תעשייה.

בגלל שהאתגרים הם שונים מתחום לתחום וגם מבטאים הרבה מאוד הזדמנויות, דיוני ההמשך יהיו דיוני עומק – AI בחינוך, AI עם אתגרי תעסוקה, AI באתגרי הבריאות, רגולציה ועוד. מבחינתי, מדינת ישראל צריכה להיות בין המובילות בתחום הבינה המלאכותית, בנושא האקדמיה שלה, בשווי השוק שייצרו החברות, בפרויקטים הלאומיים ועוד. המטרה היא להציף את הנושא החשוב הזה לסדר-היום הציבורי.

יש לי בקשה מהדוברים – להתייחס תמיד גם לחברה הערבית בארץ בכל הנושא של בינה מלאכותית, מה נעשה ואיפה זה עומד גם בחברה הערבית.

בסדר, אני רושמת את הנושא הזה ואנחנו נדבר עליו. אני מעדיפה שאחרי זה תהיה שאלה ספציפית. עשינו תוכנית ענקית שנקראת "אימפקט" לחברה הערבית, אבל זה בהחלט חשוב מאוד. ראשון הדוברים זיו קציר, רשות החדשנות. בבקשה, תציג לנו את התוכנית הלאומית.

שלום, צהריים טובים, תודה רבה על ההזמנה ועל ההזדמנות. שמי זיו קציר ואני אספר לכם על המאמץ שכולנו כבר נמצאים בו כמעט שנתיים לתוך העבודה, מתקדם מאוד מאוד יפה, בשיתוף רחב של הרבה זרועות בממשלה. מאחר שזה דיון ראשון נתחיל בהגדרות בסיסיות, נמשיך משם וניגע בכל הנושאים הרלוונטיים.

נתחיל ב"מה זו בינה מלאכותית?". מפתיע לגלות שהשאלה הפשוטה הזאת זוכה להמון המון שעות דיון ברחבי העולם והיא בכלל לא פשוטה, אז ניתן לה מענה קצר, עד כמה שאנחנו יכולים היום. אחרי שנבין מהי בינה מלאכותית נשאל בעצם מדוע זה חשוב ומעניין – חברת הכנסת פרקש נגעה בזה ובכל זאת ניגע בזה עוד טיפה – נשאל מה עושה הממשלה באופן רחב, בפרט מהי אותה תוכנית לאומית לבינה מלאכותית וניגע על קצה המזלג בשאלה מה בין בינה מלאכותית לבין עולמות הרגולציה.

אז מהי בינה מלאכותית? אני נוהג להשתמש בשתי הגדרות: ההגדרה הראשונה היא הגדרה טכנולוגית, מדברת על סיטואציה שבה אנחנו משתמשים בכלים של למידת מכונה בכדי ללמד מכונות לעשות משימות. בגדול, במקום המתודולוגיה שהשתמשנו בה עשרות שנים לאחור לפיתוח תוכנה, ששם לקחנו בעיה גדולה, התחלנו לפרק אותה לבעיות קטנות יותר ונתנו להן פתרון לוגי סדור, הרעיון פה אומר שיש לנו נתונים שמייצגים את הפתרון הרצוי ואנחנו מאפשרים למכונה ללמוד מתוך אותם הנתונים.

ההגדרה השנייה, שהיא ההגדרה שמטרידה את רוב הרגולטורים בעולם, היא הגדרה פונקציונלית, מדברת על סיטואציה שבה מכונות, מחשבים, מתחילות לבצע משימות שקודם לכן ייחסנו לאנשים. לפני 20 או 30 שנה, כשהייתי ילד, גארי קספרוב מפסיד ל-Deep Blue בשח. זה היה ניצחון כביר של עולם הבינה המלאכותית, לא חשבו שמחשבים יכולים לעשות את זה. אחר כך, ב-2014, מחשבים מתחילים לזהות פרצופים של אנשים טוב יותר מאנשים וכו'. והיום אנו רואים בעולם הבינה המלאכותית היוצרת מודלים שמייצרים דיאלוג שנראה כמו אנושי. הדבר החשוב בהגדרה הספציפית הזאת זה שאם מחשבים מתחילים לבצע משימות שהן כמו אנושיות עולה השאלה אצל מי שיקול הדעת, או איפה זה פוגש את האתיקה והרגולציה, וזה מגיע לנו מההגדרה הזו.

למה בעצם זה מעניין? אז, קודם כל, בינה מלאכותית היא טכנולוגיה והיא לא סוג של תעשייה, היא לא דבר ספציפי בפני עצמו, והיא פותחת לנו פתח להמון שימושים שבהחלט לדעתי הולכים לשנות את האנושות לטובה ואת המצב של כולנו. סתם דוגמאות – יכולתי לתת שלושה שקפים של דוגמאות בלי לחזור על עצמי פעמיים – שיפור יבולים ע"י טיפול טוב יותר במזיקים, בהורדה של תשומות, העלאה של תפוקות, זיהוי מקדים של תקלות בקווי ייצור, מניעה הונאה פיננסית. כל הנושא של שרשראות אחסנה ולוגיסטיקה מטופל המון באמצעות בינה מלאכותית כדי לוודא שיש לנו פחות פחת והדברים שאנחנו רוצים וצורכים מגיעים במצב טוב בזמן הנכון בלי לבזבז משאבים.

פיתוח תרופות מואץ – אחת הדוגמאות החביבות עליי – פיתוח תרופות, נכון להיום, לוקח בין 10 ל-15 שנים, רוב מכריע של המולקולות שיצאו לדרך נפסלות מטעמים שונים, אם כי הן רעילות, כי הן לא יעילות מספיק וכו', והינה היום יש לנו דור חדש של חברות הזנק מבוססות על ידע אקדמי שמנסה לדייק טוב יותר בפעם הראשונה, על ידי כך לקצר את התהליך, לייעל אותו, להוריד את העלות שלו ולאפשר לכולנו ליהנות מתרופות בעוד המון תחומים שהיו קודם לכן לא כלכליים.

ייעול של רשתות חשמל ומים, ביוב, כבישים וכל מה שלא נרצה; הוראה מותאמת אישית – בעולם יש מחסור עצום במורים, לא רק בישראל, בכל העולם, ויש מחשבה על-כך שבינה מלאכותית תעזור לנו לתת חינוך טוב יותר, מותאם יותר, ניצול טוב יותר של המשאבים הקיימים, התמקדות במי שצריך עזרה כזו או אחרת; וממשקים שיחתיים – בעידן שצ'אט GPT פרץ לחיינו אי אפשר להתעלם גם מהדבר הזה ומה זה יכול לעשות לנו, החל משירות לקוחות, דרך שירות לאזרח לשירותים הממשלתיים, דרך מיצוי זכויות ואלף ואחד דברים שהיו מורכבים מאוד לעשותם קודם לכן. אז הינה לנו קצת אינסנטיב למה בינה מלאכותית זה מעניין.

שאלה מעניינת בנקודה הזאת היא איפה ישראל עומדת. התשובה החיובית היא שאנחנו סך הכול מתחילים בנקודת פתיחה לא רעה בכלל. זה אחד המדדים הבין-לאומיים לדירוג של מדינות בהקשר לבינה מלאכותית, ה-global AI index של Tortoise. אנחנו במקום חמישי. לפנינו ארצות הברית וסין, עם אין סוף כסף ואין סוף אנשים, ושתי מדינות שיש להן תשתית אקדמית ארוכת שנים, בריטניה וקנדה. כאנקדוטה, נולדה הבינה המלאכותית, כמו שאנו מבינים אותה נכון להיום, איפשהו בתחילת שנות ה-2000, באוניברסיטאות הקנדיות.

אבל אם צוללים יותר לעומק, רואים שיש לנו לצד החוזקות בהון האנושי, ביכולת מחקר ופיתוח, ביצירת סטארט-אפים, יש לנו גם שתי חולשות כמדינה. חולשה ראשונה זו היכולת שלנו ליצור תשתיות ארוכות טווח. אנחנו מבינים שזה לא משהו שהשוק הפרטי יודע לעשות היטב. חולשה שנייה שלנו זה בכל מה שנוגע למדיניות. אנחנו, באופן כללי, יודעים לעשות שיתופי פעולה אבל פחות יודעים לתכנן את חיינו ל-10 שנים קדימה, כך אנו כאומה, כמדינה. הדברים האלה מובילים אותנו עוד רגע לשאלה: איפה מדינת ישראל צריכה לפעול?

לא, המדיניות זו גם העובדה שלא הייתה רגולציה במובן הזה.

בהחלט. כל מה שנוגע לתכנון ארוך-טווח זה האזורים שבהם אנחנו פחות מצליחים בדרך כלל. מה המדינה צריכה לעשות? היא צריכה לעשות 3 דברים: תשתיות, שקצת נגענו בזה; הנושא של הטמעה במגזר הציבורי, אם לא הממשלה, המדינה, אף אחד לא יעשה את זה בשבילה, זה חייב לקרות פה; ודבר אחרון זה כל המפגש בין רגולציה לבין בינה מלאכותית, באיזה אופן המציאות הטכנולוגית המשתנה משפיעה על רגולציה קיימת, באיזה אופן צריך ליצור רגולציה או חוקים אתיים שימנעו שימוש לרעה ביכולות האלה ובאיזה אופן אנחנו צריכים לבנות את הרגולציה שלנו בכדי להאיץ חדשנות ולוודא שישראל נמצאת במקום המוביל שבו היא נמצאת כרגע. אלה שלושת הדברים.

בשנת 21 יצאה לפועל תוכנית תל"מ. חמשת הגופים – ות"ת, מפא"ת, רשות החדשנות, משרד החדשנות, המדע והטכנולוגיה ומשרד האוצר. פורום התשתיות הלאומיות למו"פ, תל"מ, עושה את תפיסת העבודה לתחום שקיים 25 שנה, פורום וולונטרי, בגדול מאגם משאבים ופועל יחד להשגה של מטרות משותפות. תוכנית הבינה המלאכותית היא אחת מתוכניות הדגל של פורום תל"מ. מסביבו התקבץ מעגל שני שמכיל את מערך הדיגיטל הלאומי, משרד המשפטים, משרד החוץ ומעגל שלישי של עוד שורה ארוכה-ארוכה של משרדי תוכן, רשויות וגופים ממשלתיים.

הפעימה הראשונה תוקצבה כבר בתקציב המדינה ל-21-22 517ב- מיליון ש"ח וממש לפני מספר שבועות, באישור תקציב המדינה ל-23-24, אושרה מסגרת של עוד כ-500 מיליון שקלים, כך שאנחנו עומדים בסך הכול על תוכנית שמתוקצבת כבר במיליארד שקלים על פני כ-6 או 7 שנים, ותכף תראו שגם נוגעת בכל הדברים המשמעותיים שצריך לגעת בהם.

כמה מתוך הכסף הזה נוצל ב-22?

אני מזכיר שב-21 היה לנו בעצם חודש עבודה. תקציב 21, אני מזכיר, עבר בנובמבר 21. עד כה, במצטבר הוצאנו כ-80,000 או 90,000 ש"ח, אל תתפסו אותי במספרים, על פני כל הצירים.

יש לנו ועדה מדעית מייעצת, בראשה עומד פרופ' יואב שוהם ולצדו שורה של פרופסורים ואנשי תעשייה מהארץ ומהעולם מהשורה הראשונה – אפשר להתרשם – שמטרתם להנחות אותנו. התוכנית כוללת 7 רכיבים:

הראשון מדבר על מובילות אקדמית, הן בהקשר של הגדלת הסגל האקדמי בעולם הבינה המלאכותית, הן בהקשר של משיכה לישראל של הפרויקטים המצוינים ביותר שנמצאים בחזית המחקר העולמית. לצדה תשתית חישובית, מחשב-על, היכולת של חוקר באקדמיה או של חברות הזנק לאמן מודלים גדולים במיוחד, עבור משם לנושא של עיבוד שפה טבעית, שפה טבעית בשפות המקומיות שלנו עברית וערבית, המון פעילות שם שמטרתה בסופו של דבר לאפשר לאותם חוקרים באקדמיה, לאותם סטארט-אפים, ליזום אלף ואחד מיזמים חדשניים מבוססי שמע או טקסט.

הטמעה במגזר הציבורי – יש פרק ענק שנכנס בפעימה השנייה – פרויקטים רחבי היקף שנועדו להשפיע על החיים של כולנו לטובה, אם ע"י טיוב תהליך קבלת ההחלטות הממשלתי, ייעול מערכות או שיפור השירות לאזרח. ממשיכים משם לנתונים והנגישות לנתונים. נתונים הם הבסיס לכל דבר אצלנו בעולם הבינה המלאכותית ולכן אנחנו רוצים לקחת את מאגרי הנתונים הענקיים שקיימים, הרבה מאוד מהם במגזר הציבורי אבל לא רק, ולהפוך לנגישים, להפוך אותם לדלק בעבור מי שצריך אותם. מעבר לצורך לאגם אותם יש שם המון המון חסמים משפטיים נכונים – פרטיות, הבנת סייבר, חיסיון ואלף ואחד דברים שצריך לטפל בהם ואנחנו עובדים בזה קשה מאוד.

ציר האתיקה והרגולציה, שנדבר עליו מעט בהרחבה, ובסופו של דבר קידום של ענפים בעולם ההייטק הישראלי שעדיין לא עברו את המהפכה הזאת של הבינה המלאכותית. בסך הכול, מקצה לקצה יש פה נגיעה בכל הערוצים המרכזיים שבהם הממשלה פועלת. עובדים כבר כמעט שנתיים, מוקצים מיליארד שקלים וקצב העבודה שלנו רק הולך ומתגבר.

תודה. אני מאוד מאוד אשמח לדעת איפה הדברים עומדים מבחינת פרויקטים בתכלס. כלומר, איפה עומד נושא המכרז? לגבי האתיקה והרגולציה אני מניחה שידברו אחרים, אבל אם אפשר קצת לקבל סטטוס של הדברים.

בוודאי. בעולם מחשב-העל אנחנו מקימים 3 מיזמים: מעבדה לחישוב-העל שצריכה להיות בסיס לחברות הזנק. קול קורא שהוציאה רשות החדשנות נסגר לפני כשבוע והכרזה על זוכים צפויה בחודש אוגוסט. מפא"ת פועלת על העמדה של משאב מבוסס נימבוס לאימון של מודלים גדולים. אני מאמין שיהיו לנו חדשות על חתימת ההסכם ממש ברמה של שבועות מהיום. הכוונה היא לצאת לפיילוט כבר במהלך הקיץ, שם אנחנו נמצאים.

הרגל השלישית היא נושא של חישוב מדעי. כל העולמות של סימולציה מעולמות הטבע – ביולוגיה, כימיה, פיזיקה וכו'. אנחנו עובדים קשה. אני עוד לא רוצה לספר מאחר שהדברים עדיין לא סגורים חוזית ואני לא רוצה לסכן אותם, אבל גם שם יש השתלמות יפה. ב-NLP, בעיבוד השפה - - -

זה מפא"ת יגידו, לא?

זו עבודה שנעשית בשותפות כולם, משרד החדשנות, מפא"ת, רשות החדשנות, אנחנו עובדים כולם יחד. הנושא של אימון מודל שפה גדול, ממש עוד רגע אנחנו נוכל לדעתי לגזור את הסרט על חתימת החוזה בהובלת מפא"ת. שורה ארוכה-ארוכה של מאגרי מידע, חלקם ע"י מפא"ת, חלקם ע"י רשות החדשנות, קולות קוראים למחקר יישומי שייצאו ממשרד החדשנות, מודלים מתמטיים יעודים שכבר יצאו לדרך, קול קורא פתוח באוויר לנושא של מאגרי מידע וכלים. בקיצור, המון-המון פעילות שנעשית באזור הזה של ה-NLP. באקדמיה כבר שני מחזורים של חלוקה של מלגות לדוקטורנטים ופוסט-דוקטורנטים במטרה להגדיל את הסגל.

מבחינת רשות החדשנות יש מסלולים תומכי AI היום, או שזה לא ספציפי?

רשות החדשנות עובדת בשני אופנים: אחד, חברות שמגיעות עם חדשנות טכנולוגית פורצת דרך מקבלות מימון בהתאם לגודל שלהן – צעירה, בוגרת יותר וכו'. אני יכול להגיד שכ-30%-40% מכל הבקשות שמוגשות לרשות החדשנות בשנה כוללות את צמד המילים "בינה מלאכותית". אם רשות החדשנות מחלקת בערך מיליארד וחצי שקלים במענקים כל שנה, ניתן להגיד שכשליש מזה עובר לחברות שמיישמות בינה מלאכותית. מעבר לכך, עושה הרשות, כחברה בתוכנית הלאומית, השקעות תשתיתיות, כפי שתיארנו עד כה, שהן לא נוגעות לתיק בקשה כזה או אחר.

יופי. תודה, זיו. שלום לנציגי משרד החדשנות, גם למדען הראשי, פרופ' אבי דומב, וליועץ המשפטי, דני חורין. איתן טי, בבקשה.

שלום לכולם, תודה על הדיון. הנושא הזה הוא באמת מרכזי ואנחנו במשרד מבינים שזה שינוי מסדר ראשון. זה לא עוד סוג של טכנולוגיה, זה שינוי אחר. משרד החדשנות, המדע והטכנולוגיה כולו עוסק בסוגיה הזאת, כך אנחנו מבינים את זה, כך אנחנו פועלים, אז תודה על הדיון הזה, הוא דיון חשוב. תודה לך, חברת הכנסת אורית פרקש הכהן.

אני אדבר בקצרה על הנושא של הטמעה בממשלה. לכולנו ברור שהשוק הפרטי רץ מהר קדימה, אנשים כל הזמן מטמיעים עוד ועוד כלים של הבינה המלאכותית ומבחינתי יש לנו, בפורום תל"מ, ולי, כאיתן, משימה מרכזית – להטמיע את הבינה המלאכותית בממשלה. אנחנו עושים את זה בשיתוף פעולה נהדר עם מערך הדיגיטל כמובן ועם הרבה שותפים פה.

בתקצוב האחרון קיבלנו 125 מיליון שקלים לטובת ההטמעה בממשלה. הבשורה מבחינתנו היא שאנחנו מקווים שעד חודש יולי אנחנו נצא בקול קורא פנים-ממשלתי לגופים ציבוריים שרוצים להטמיע פרויקטי בינה מלאכותית בממשלה. אנחנו לא מחכים עד לקול הקורא אלא כבר נפגשים עם כל מיני גופים. אני רוצה לזרוק לכם רגע כמה דוגמאות.

קודם כל, הדוגמה הבולטת, ובעיניי היפה ביותר, זה שירות התעסוקה, שהוא כבר היום עובד עם כלי בינה מלאכותית לחבר בין דורש עבודה לבין מקום עבודה פוטנציאלי, פרויקט מקסים לכל מי שרוצה לראות בינה מלאכותית מוטמעת בממשלה. כמובן שאנחנו מאוד זהירים בנושא של הטיות – מאיר לוין אחרי זה ידבר על הנושא הזה – כדי לראות שאנחנו לא עושים באמצעות הבינה המלאכותית, שהיא קופסה שחורה, הטיות, שלנשים נותנים עבודה כזאת ולגברים עבודה אחרת, או מכווינים ערבים למשהו אחד. אנחנו מאוד זהירים בנושא הזה.

דוגמה שנייה היא במשרד התחבורה, כל הנושא של ניהול הדאטה סביב עומסי תנועה ואיך אפשר להשתמש בבינה מלאכותית - - -

בעצם אתם מכינים את הקרקע לפרויקטים הלאומיים.

נכון, כי גופי הממשלה אומרים: יש בינה מלאכותית, יש לנו צורך, אבל קשה להם לגשר על הפער איך עושים את זה, אז למעשה אנחנו רוצים להקים מרכז ידע לאומי שייתן גם הכשרות, גם מומחי AI וגם מתודולוגיות איך עושים תהליך כזה. נלמד מפרויקט לפרויקט. זה לא שכל משרד צריך להתמודד מחדש עם הטמעת בינה מלאכותית אלא נלמד ונצבור לאורך הדרך תובנות יחד עם מערך הדיגיטל, שעסוקים הרבה בהטמעה של טרנספורמציה דיגיטלית.

אז הפרויקטים הלאומיים שיזמנו יוצאים לדרך לקראת יולי כשיהיה צוות מעין מכרזי שיבחר את הדברים?

נכון. שותפים בו אגף תקציבים, רשות החדשנות, מערך הדיגיטל, משרד המשפטים כמובן. צוות שבוחר אילו פרויקטים מספיק משמעותיים שאנחנו נשקיע בהם כסף. כמובן שהמשרד השותף חייב לשים מצ'ינג, הוא צריך להראות שזה חשוב לו, שהוא שם גם איזשהו פיבוט.

ולגבי מוקד הידע, איפה הנושא הזה עומד? הוא יהיה במשרד החדשנות, נכון?

זה מוקד ידע רגולטורי. אני מדבר מעבר לצד הרגולטורי, אנחנו צריכים גם הרבה מאוד הבנה ויכולות איך להוביל פרויקטים כאלה ואיך להטמיע בממשלה. זה לא פשוט. יש מוקד ידע רגולטורי שמלווה את הרגולטורים, ויש מוקד ידע שהוא לעניין איך מטמיעים טכנולוגיות כאלה בממשלה.

דבר אחרון. מעבר לכל הפרויקטים הגדולים – ויש לי עוד רשימה: בחינוך, משרד העבודה רוצה לנטר אזורי עבודה שיש בהם תאונות עבודה, איך לנטר את זה מראש באמצעות כלי בינה מלאכותית אם יש שם סיכונים וכל מיני כאלה – אנחנו נרצה גם לעזור לכל עובדי ועובדות המדינה רגילים איך לעשות שימוש בכלים כאלה ביום-יום. אתה כותב תשובה לאיזושהי פניית ציבור, למה שלא תעשה שימוש בכלי בינה מלאכותית ותקבל תשובה טובה יותר? כמובן שתקרא אותה, לא תשלח משהו שכתב צאט GPT אבל הוא יכול לעזור לך לנסח את זה טוב יותר. או למשל, אם אתה רוצה להוציא איזשהו סרטון, הכלים האלה שבשוק הפרטי כבר הולכים ונטמעים באופן מאוד מאוד מהיר, אנחנו רוצים שגם לכל עובדי המדינה תהיה נגישות ויידעו לעשות בזה שימושים. אנחנו נעבוד גם בפרויקטים קטנים, גם בגדולים, ואני חושב שזו בשורה טובה.

תודה רבה. הפרויקטים האלה מאוד מאוד חשובים. אני מקווה שהם גם תוקצבו עוד יותר. במקור אני זוכרת שדיברנו על הרבה יותר מ-120 מיליון שקלים. זה מאוד חשוב שהממשלה עצמה תהנה מהפירות של זה וכתוצאה מכך כל הציבור. אל"מ עידן בצלאל, תודה שבאתה, סיפרו לי שאתה מומחה ואחראי על תחום ה- AIבמפא"ת, בבקשה.

שלום לכולם ותודה על הזכות להיות כאן. שמי עידן ואני ראש מחלקת דיגיטל וסייבר במפא"ת. אתי נמצא אלעד דביר, שהוא ראש ענף AI, הוא באמת המומחה האמיתי. התפקיד של מפא"ת במשרד הביטחון הוא לבצע מחקרים ופיתוח של יכולות בינה מלאכותית בעיקר באמצעות הפעלת חברות בחזית הטכנולוגיה והתאמת הפתרונות לצורכי צה"ל, משרד הביטחון והקהיליה, וגם למגזר הציבורי, ואנחנו מפתחים יכולות BI למול אחת משתי תכליות עיקריות: אחת, שיפור היעילות של צה"ל להחליף פעולה חזרתית של מפעילים באמצעות בינה מלאכותית, והשנייה, פיתוח של יכולות בינה מלאכותית במקום שבו המוח האנושי מתקשה לטפל בהיצף המידע כדי למקד את האדם ביכולת קבלת החלטות ולא באיסוף ועיבוד מידע.

אנחנו גם מבצעים תהליך ממש טרנספורמטיבי בארגון כי אנחנו, ממקום של עיסוק דיסציפלינרי צר, צריכים להפוך את מקבלי ההחלטות ככאלה שמשתמשים ביכולות בינה מלאכותית. בצה"ל פיתחנו מתודולוגיה של פיתוח במפעלי מידע משותפים. לאורך השנים הבנו שיש יתרון משמעותי גם לאקדמיה וגם לתעשיות בכל מה שקשור לשמירה על קצב הלמידה בטכנולוגיות חדשות, אבל אין להם דאטה. אני חושב שזה מאוד מקביל למגזר הציבורי, שיש לו דאטה, דאטה מבצעי שאפשר לעבוד עליו, לצה"ל, בדומה למשרדי ממשלה, יש יתרון בהבנה העסקית של הבעיה ובהינתן דאטה אפשר לפתור המון בעיות מבצעיות.

בנינו תפיסה של מפעלי מידע. בכל מפעל כזה יש מתחם משותף גם של אנשי מפא"ת, גם של אנשי תעשייה, אנשי אקדמיה וחוקרים מצה"ל, ובדרך כלל יש מוביל מבצעי, וגם את זה אפשר לקחת רגע למגזר הציבורי שמגדיר שאלת מחקר. לאחר מכן מבצעים עבודה על דאטה מבצעי מתוך המערכות הצה"ליות או בכלל ממקורות אזרחיים, עובדים על תרחיש מבצעי כדי לענות על שאלת מחקר ומשתמשים ביכולות אימון מתקדמות.

אנחנו הבנו שחלק משמעותי בעיסוק בבינה מלאכותית דורש השקעה באדם. פיתחנו מרכז מצוינות ל- AIשתחת קורתו יש עשרות חוקרים מאוכלוסיות עילית שאנחנו מאתרים בצה"ל, תוך כדי הם ממשיכים לתארים מתקדמים ועוסקים במחקרים באקדמיה.

מתוך המערכת, מתוך צה"ל?

כן. אנחנו מבצעים להם מבחנים והם עוברים תהליך של מנטורינג ע"י חוקרים ותיקים ומבצעים פעילות מחקר מאוד-מאוד עמוקה ובעיות מאוד מורכבות. זה מודל מאוד חשוב ואנחנו חושבים שגם כזה צריך להיות במגזר הציבורי, קרי תוכניות עילית שמכשירות אנשים מצוינים לעסוק בעולם ה- AI.

בנוסף, במפא"ת בנינו הכשרה לבכירים. אנחנו כבר בסבב שני השנה של הכשרה. בכל השתלמות כזאת יש 30 אנשים כדי להפיץ את הבשורה ולהסביר, גם למפקדים בכירים אבל גם לאנשים שאחראים על פיתוח, מה יודעת להביא הטכנולוגיה כדי לעודד השקעה בתחום, כולל עידוד פנימי בתוך המערכת של כל מי שרוצה לבצע פעילות בעולם ה- AI. אנחנו מעודדים אותו וגם משקיעים תקציב נוסף כדי לראות שהם ממנפים את הפעילויות.

אני לא אדבר על הטכנולוגיות כי זה לא הדיון. אנחנו עוסקים גם בפעילות דואלית. יש היום מנהלת דואלית שהוקמה במפא"ת שעוסקת בכל מה שקשור לרתימה של יכולות ויצירת שיתוף פעולה עם גופים אזרחיים בתחום הבינה המלאכותית. כמובן שאנחנו מובילים יחד עם משרד החדשנות, המדע והטכנולוגיה את תוכנית הבינה המלאכותית ותוכנית הקוונטים.

תוכל לספר קצת על הפיתוח? אתם מתעסקים בפיתוח השפה, נכון?

אנחנו עוסקים בשני חלקים: אחד, פיתוח מחשב-העל שדיבר עליו זיו, והשני בנושא ה-NLP. בשנה וחצי האחרונות היינו מאוד מאוד עסוקים בלהביא דאטה. הבאנו סדר-גודל של 20 מיליארד מילים בעברית ובערבית ממקורות שונים.

תסביר רק את ה-NLP למי שמאזין.

NLP – מודל שפה ענק שיאפשר שימוש למגזר הציבורי להשתמש בו לטובת הצרכים האזרחיים - - -

לשפר את השימוש בעברית ובשפה הערבית.

כן, כדי שאפשר יהיה להשתמש במודל הזה באפליקציות שונות.

סיכונים בראייתנו בשימוש בבינה מלאכותית: אחד, אתיקה ורגולציה בשימוש בבינה מלאכותית. אנחנו מכירים אמנות בין-לאומיות שמתחילות להתגבש שימנעו שימוש בבינה מלאכותית במערכות צבאיות ובדגש על מערכות נשק. זה נושא כבד. מדינת ישראל צריכה להיות שותפה פעילה בגיבוש האמנות בראייתנו. אני מדגיש היום שפעולת מודלי בינה מלאכותית בצה"ל הן תהליך בקבלת ההחלטות ובכל פעולה מעורב אדם בתהליך שמקבל את ההחלטה. מכונות לא מקבלות החלטות לבד.

הדבר השני הוא השלכות לא צפויות של המודלים כתוצאה מהתנהגות לא דטרמיניסטית. דיבר על זה קודם גם זיו. אנחנו הולכים היום לטכנולוגיות של Explainable AI כדי להבין מה המכונה חושבת ועל סמך מה קיבלה החלטה. כל מה שקשור לחיסיון מידע ו-adversarial AI, קרי יכולת לחלץ את הדאטה עליו אומן המודל, פה יש סכנה משמעותית ואנחנו מפתחים מתודולוגיות להגנה על המידע.

לסיכום, לשימוש בבינה מלאכותית יש המון יתרונות. אנחנו רואים בה יתרון משמעותי אבל צריכים לבצע בזה שימוש בצורה אחראית ונבונה. יש סיכונים, דיברנו עליהם, והמפתח זו השקעה משמעותית בכוח אדם, בהכשרת חוקרי עילית ובהכשרת מנהלים בכירים במשק להבנת הפוטנציאל ולהרחבת הבשורה. אנחנו נשמח להמשיך להוביל תוכניות בתחום עבור המדינה ככל שיידרש.

תודה רבה. חבר הכנסת שוסטר, בבקשה.

תודה, יושבת-הראש. שלוש נקודות: ראשית, אני מתייחס לדיון הזה, אורית, כדיון שעוסק בחוץ וביטחון, ביטחון פנים, חינוך, השכלה, הגנת סביבה, אנחנו עוסקים בליבת היכולת של מדינת ישראל. שניים, תוך כדי הדיון הזה, גם חברי הכנסת וגם אחרים, אתם עדים לדיונים שקוראים להם בהפשטה שמאל וימין כלכלי. אין מצב שמדינה תיתן לכוחות שוק לעסוק בביטחון ואין סיכוי שאנחנו נאפשר סוג של אדישות כלפי הסוגיה הזאת. המדינה חייבת להיכנס במלוא העוצמה שלה, כמו שאנחנו רואים פה כרגע. זה נראה טריוויאלי. אני רק רוצה שנסתכל על זה גם מהזווית של אחריות מדינתית ולא להפקיר את הנושא הקריטי הזה לכוחות השוק.

הנקודה השלישית, כלילתיות חברתית, אינקלוסיביות חברתית. זאת הזדמנות כשאנחנו פורצים למרחבים חדשים לוודא שאנחנו מביאים לתהליך הזה ככל האפשר הישגים נוספים, לייצר סינרגיה חברתית. צה"ל מבקש לפחות 30%, כמניינם של תושבי הפריפריה – אני בחלקם – במקצועות הטכנולוגיים. אדרבה, בפריצות החדשות, באג'נדה החדשה הזו, בליבת התקדמות ובניית החוסן הכלכלי, מדעי וכנראה גם חברתי, בריאותי, חינוכי שלנו, יהיו כולם, פריפריה, ערבים, מכל סוג, מכול מין, מכול מחשבה. תודה.

תודה, חבר הכנסת שוסטר. בכלל אני חושבת שכל הנושא של ההייטק, הטכנולוגיה והבינה בכללותו הוא הזדמנות חברתית מאוד מאוד גדולה, כי בסוף מצד אחד זה תחום מאוד חזק, אבל כשמסתכלים על ההשתקפות החברתית שלו, בדיוק אותן אוכלוסיות שלא נמצאות בו אלה האוכלוסיות שכדאי וצריך לפנות אליהן. חבר הכנסת רול, בבקשה.

תודה רבה, גברתי היושבת-ראש, ותודה לכל האורחים הנכבדים שלנו. אני יודע שבעיקר כשמדובר על רגולציה זה לא דבר שמעורר עודף נחת בקרב אנשי הייטק, בקרב מדענים, בקרב התחומים שאנו מדברים עליהם היום. אני כן חושב שבשונה מתחומים אחרים זה לא עוד נושא טכנולוגי, זה נושא שההשלכות שלו, כבר אלו שאנחנו עדים לצפות היום, הן רחבות. יש לו השלכות תעסוקתיות, כלכליות, קניין רוחני, סוגיות של פרטיות, סוגיות אפילו של זכויות יסוד. ולכן זה לא רשתות חברתיות, זה לא נושא שאפשר לתחום אותו באיזושהי צורה, ואני חושב שזה דבר בלתי נמנע.

אני כן רוצה לומר שזה לא משהו שצריך לעורר חשש. אני יודע שפרלמנטים באופן היסטורי לא מצטיינים ברגולציה מהירה ביחס לקצב התפתחות הטכנולוגיה. אני עורך דין שמגיע מהתחום הזה בעברי וכל מי שעסק בזה יודע שנקודת הייחוס החוקית לכל תחום האינטרנט היה חוק המחשב. שנים אחרי שכבר היה ענן וכל התפיסה של מחשב יצאה מגוף מתכת שיושב על השולחן עדיין נאלצו בתי המשפט להתייחס לזה כנקודת ייחוס כי החוק לא התעדכן, לבטח גם בסוגיות של פרטיות ואחרות. ועדיין יש פה, לדעתי, חובה שלנו כמחוקקים להעמיק, להתייחס לזה בכובד ראש, אבל להבין שלצד האתגר הגדול ולצד הפוטנציאל הגדול חייבים גם לנסות ולהבין, לפחות בצעדים ראשונים, בסוגיות שתיארתי ואחרות, איך אנחנו מתכוננים כדי לגדר סיכונים ולהפוך את זה ליותר הזדמנות ופחות דברים שידאיגו אותנו או יהוו חסם.

כן צריך לומר שמדינת ישראל פעמים רבות מחכה לראות איפה יהיו המעצמות, איפה יהיה האיחוד האירופי, איפה תהיה ארצות הברית, מבחינת רגולציה. אני לא תמיד דוגל בגישה הזאת. אני חושב שמדינת ישראל, כמדינה שיודעת להיות סטארט-אפ ניישן, להתגאות בזה ולהוביל טכנולוגית, כמו שראינו מקום חמישי, צריכה גם לדעת, כמובן תוך תיאום, כמובן תוך משפט משווה ומבט החוצה, לקבל החלטות אמיצות, ולא מן הנמנע שאנחנו גם נהיה בין הראשונים שיקבעו מסמרות ברמה מסוימת גם בתחום הרגולציה.

תודה רבה. אני חושבת שבשבילך בדיוק יהיה מעניין לשמוע את המשנה ליועץ המשפטי לממשלה, מאיר לוין, לגבי טיוטת המדיניות שיצאה בזמן שלי כשרה בדיוק בנושא הזה, של האתיקה וכל השינויים שגם קורים, ואם זה גורם למחשבות מחדש על הכיוונים של מה שיצא. ד"ר נעמי בק, ות"ת, בבקשה. תחום הבינה המלאכותית נשען הרבה מאוד על מחקר ועל חוקרים.

תודה רבה. תודה על ההזמנה להשתתף בישיבה החשובה הזאת. אני נעמי בק, סמנכ"ל אסטרטגיה ובין-לאומיות במל"ג-ות"ת. ות"ת זו הוועדה לתכנון ותקצוב של המועצה להשכלה גבוהה. אנחנו בעצם הרגולטור של כל המוסדות המתוקצבים להשכלה גבוהה והלא מתוקצבים, ואנחנו מתקצבים את המוסדות הציבוריים.

אני אסביר קצת מה ות"ת עשתה בנושא של מדעי הנתונים ובינה מלאכותית אחרי ששמענו על החלק היותר אפליקטיבי ממשרד החדשנות, המדע והטכנולוגיה וגם קצת על התוכנית הלאומית. ות"ת סימנה כתחום דגל כבר בתוכנית הרב-שנתית הקודמת – זו שהתחילה בשנת 2017, אז כבר ב-2016 – את הנושא של מדעי הנתונים בצורה מאוד רחבה. אני לא אקריא מה שכתוב בשקף כי כולם יודעים לקרוא, אבל בגדול אנחנו מדברים על מדעי הנתונים כמשהו שכולל בתוכו גם את הבינה המלאכותית. כלומר, זה כל התחום של טיפול חדש בנתונים. אני אסביר גם למה זה חשוב.

מסביב לעיגול בצד שמאל יש את כל הדיסציפלינות שקיימות באקדמיה, כל האפליקציות, ובמרכז, בליבה, יש את התחומים שמהווים ביחד את הדיסציפלינה החדשה הזאת המתהווה של מדעי הנתונים. למה אנחנו התפקסנו על התחום הזה כבר אז? היו כאן כל מיני התפתחויות שקשורות לטכנולוגיה, אחסון, מחשוב וכו', שאפשרו פריצה של התחום הזה. אנחנו דיברנו על הנושא של נתוני עתק, או ביג דאטה, ולוות"ת היו כמה תוכניות דגל בתחום הזה, מדעי הנתונים כתחום בפני עצמו, וגם הנושא של רפואה מותאמת אישית. פה אתם יכולים לראות אנליזה של מילות מפתח שנעשתה אז ולראות איך הדברים האלה – כריית נתונים, בינה מלאכותית, ביג דאטה, Data Science, הם קצת interchangeable, מתייחסים בגדול לאותו התחום. זיו כבר סיפר על זה אז אני ארוץ על זה מהר.

הבינה המלאכותית המקורית, 1960, לנסות להבין איך מחשב יכול לעשות משימה מדויקת, משימה שניתנת לו מראש שבן-אדם יכול, לדוגמה לנצח במשחק שחמט עם כל הכוח המחשובי וכו'. הבינה המלאכותית החדשה היא הרעיון של לתת הרבה מאוד נתונים למכונה ולתת לה להוציא את התובנות מהנתונים האלה ע"י שימוש בכל מיני דברים שנקראים למשל deep learning ומחקים איך שעובד המוח האנושי וכו'. לצורך ההדגמה, תוכנית דגל אחרת של ות"ת הייתה תוכנית ברפואה מותאמת אישית, חיברה נתונים גנומיים וקליניים בשביל לנסות להפיק מהם כל מיני תובנות, לקחת למשל בדיקות דם של מלא אנשים, לתת למחשב להתחיל ללמוד אותן ולהוציא משם כל מיני אוכלוסיות שלמשל אפשר לראות שם biomarkers למחלה כזו או אחרת, סרטן כזה או אחר, בשלב מאוד מוקדם ולנסות להתאים לזה טיפול מותאם אישית.

התוכנית הזאת רצה במקביל לתוכנית של מדעי הנתונים וממנה כבר יצאו – למרות שזו לא הייתה המטרה העיקרית של ות"ת, ות"ת היא הגוף היחיד במדינת ישראל שמתקצב מחקר בסיסי, מחקר בסיסי זו האבן הראשונה של הפירמידה הגדולה הזאת שעליה יש את המחקר היישומי ואת התעשייה וכו' ולכן אנחנו תמיד מתמקדים במחקר הבסיסי. אז המטרה של רפואה מותאמת אישית הייתה קודם כל לתקצב מחקר בסיסי ולקדם אותו, אבל כפועל יוצא, בגלל שזה מחקר חדשני פורץ דרך, מהר מאוד קיבלנו פרוטוקולים חדשים לטיפול בחולים, קיבלנו אפילו כמה סטארט-אפים. כלומר, ההשקעה הפרטית בתוכנית המקבילה הזו כבר עברה את ההשקעה הממשלתית, מה שגייסו הסטארט-אפים שנוצרו.

שוב להדגיש את העניין הזה – תראו, זו הייתה מפת הסטארט-אפים בישראל אז, בשנת 2017, כשעבדנו על התכנית, תראו כמה מהם מבוססים על מה שנקרא machine learning, בינה מלאכותית, ובעצם מה שווי השוק שלהם. כמובן שהמספרים האלה כבר לא עדכניים אבל זה מראה שוב את החשיבות של קידום המחקר הבסיסי. האפליקציות חשובות אבל אם לא נקדם את המחקר הבסיסי אז גם לא יהיו לנו את האפליקציות המעניינות אחר כך.

השקף האחרון מראה מה הייתה תוכנית ות"ת. התוכנית הייתה בהיקף של 150 מיליון שקל. היא החלה לפעול בשנת 2018 - - -

מה שמה? תוכנית לעניין בינה מלאכותית?

תוכנית לקידום מדעי הנתונים ובינה מלאכותית. ועדת ההיגוי של ות"ת – ות"ת תמיד ממנה ועדות היגוי שמורכבות ממומחים מהתחום, במקרה הזה 60%-70% מהמומחים הגיעו באמת מהתחום של בינה מלאכותית כי הוא ייצג את החוזק המחקרי דאז, עשינו שאלונים מאוד מפורטים שמראים בדיוק כמה חוקרים יש בתחום, כמה מהם מתעסקים בתחומי הליבה יותר מ-85% מהזמן, כמה בתחומי מעטפת, כמה תחומים חופפים, כל הדברים האלה. הכול נמצא, דרך אגב, באתר המל"ג, דוח מפורט בעברית ובאנגלית, 60 עמודים למי שמתעניין.

הוועדה עבדה במשך חצי שנה, נפגשה עם הרבה מאוד גורמים, כולל צה"ל ומשרדי ממשלה שונים, ובסוף 2018 ות"ת אישרה את המלצות הוועדה לתוכנית ארבע-שנתית לקידום התחום. התוכנית הזאת עדיין פועלת כי התקצוב של ות"ת ממשיך. יש מענקים שממשיכים יותר זמן וכו'. בגדול, מתוך 150 מיליון שקל, 80% או 120 מיליון שקל תוקצבו להקמה של מרכזי מחקר, מרכזי גג קראנו להם, באוניברסיטאות, כלומר שמאגדים את כל הפעילות במוסד בתחום של מדעי הנתונים. חלק מזה היה במה שנקרא מסלול מואץ. רצינו מהר לתת את ההזרקה של הכסף לתחום כדי למנף אותו. כל מרכז מחקר היה אמור לעמוד בתנאי סף מסוימים, מסה מסוימת של חוקרים עם רמת מצוינות מסוימת כדי לקבל את התקצוב של ות"ת. תמיד אנחנו מבקשים מצ'ינג אז המוסדות נתנו 25% מצ'ינג על התקצוב - - -

תודה רבה, אבל יש לי כמה שאלות.

לא סיימתי אבל בסדר.

אז תסיימי אבל אני גם אשמח שתתייחסי – את מתארת תוכנית שהושקה בשנת 2018, חלפו 4 שנים שבה תקצבתם אותה - - -

היא עדיין פועלת.

אני יודעת שגם בתוכנית הלאומית שמנו דגש גדול על האקדמיה ועל המחקר. אז רציתי לשאול, א', כמה חוקרים יש היום באקדמיה בתחום הבינה המלאכותית. אני כשרה זוכרת שיש אבל לא מספיק, אז קודם כל לשמוע ממך כי התחום הזה נשען ויש גם קושי, אני זוכרת שברגע שמישהו כבר בקיא בתחום הוא עובר לתעשייה. אני לשמוע איך את רואה את הדברים והאם לא נכון שות"ת תוציא תוכנית חמש-שנתית חדשה בנושא הבינה מוכוונת לנושא הזה?

תודה על השאלות. קודם כל, התוכנית הושקה ב-2018, אז היה לה מסלול מואץ שתקצב את מרכזי המחקר לארבע שנים על פי עמידה בתנאי סף, כמו שאמרתי fixed sum לכל מרכז. היה גם מסלול תחרותי, הוא הושק שנתיים אחר כך כי לקח להם קצת זמן להכין את ההצעות, לקח זמן לוועדה בין-לאומית לבדוק את ההצעות, אז התוכנית הזאת נמצאת עדיין רק באמצע הדרך. היא מתקצבת את אותם מרכזי המחקר אבל פרויקטים חדשניים במיוחד שממנפים את היתרון היחסי של כל אוניברסיטה ואוניברסיטה, ושם חלוקת התקציב לא הייתה שוויונית.


במקביל לזה הפעלנו תוכניות מלגות גם לדוקטורנטים וגם לפוסטים בדיוק בשביל להכין את העתודה המחקרית בתחום. באמת יש זליגה לכיוון התעשייה. יכולת ההשתכרות זה ברור, יכולות המחקר אבל גם כן במקומות כמו גוגל, פייסבוק, אמזון, הן מאוד מאוד גבוהות וחוקרים יכולים לעשות דה-פקטו מחקר בסיסי במקומות האלה, אז חשוב היה מאד לתחזק את ה- pipelineולהכין את העתודה המחקרית בתחום וגם לדאוג קצת לנושא של התשתית.

אז מה עושה ות"ת? א', ות"ת ממשיכה את התוכנית הזאת כי היא עדיין פועלת, היא עוד לא הסתיימה ויש ועדת מעקב שבודקת בדיוק מה קורה עם הפרויקטים והמרכזים. ב', אנחנו ממשיכים את תוכניות המלגות שלנו, כמו שהזכיר זיו קציר. זה חלק מהפעימה הראשונה של תוכנית ה-AI. ג', ות"ת נמצאת עכשיו בתוכנית רב-שנתית חדשה. אנחנו סימנו כתחום דגל שבו אנחנו נשקיע קרוב לחצי מיליארד שקל את נושא הקיימות. במסגרת הזאת יש השקעה באנרגיה, אקלים, ים, מים, תזונה, מזון ומגוון ביולוגי, ולהרבה מהדברים האלה יש השקה גם לנושא של AI, לדוגמה חקלאות מדייקת, תחום שאפשר למנף אותו בצורה משמעותית בישראל, תחום שיכול להיות אחד מפרויקטי הדגל של הפעימה השנייה של התוכנית הלאומית לבינה מלאכותית. אז אנחנו שותפים מלאים בתוכנית הלאומית.

יש את הרעיון – זיו לא הזכיר אותו – של moonshot, רעיון של פרויקטים מרחיקי לכת שיקפיצו את ישראל לחזית המחקר וחזית התעשייה בתחום. אנחנו חייבים למצוא את הנישה שבה אנחנו מאוד מיוחדים. לצורך העניין, NLP זה דבר חשוב בעברית לישראל, ברמה של מחקר בסיסי הוא לא חשוב בכלל, צריך להגיד את הדברים כמו שהם. אבל יש כן תחומים, כמו רפואה מותאמת אישית, שאנחנו הולכים להשקיע בה עוד חצי מיליארד שקל, כמו הנושא של חקלאות מדייקת, כמו הנושא של ניטור ימי, כל מיני דברים שבהם אפשר יהיה להשתמש בבינה מלאכותית. אלה כלים שקיימים באקדמיה ואנחנו מעוניינים כמובן לתגבר ולתעדף אותם. תודה רבה.

תודה רבה. עו"ד מאיר לוין, המשנה ליועץ המשפטי לממשלה במשרד המשפטים. מאיר באמת רתם את המחלקה הפיסקלית ומשרד המשפטים לפרויקט שהיה ראשוני, יחד עם עו"ד דני חורין במשרד החדשנות, לקדם את כללי האתיקה. כשנכנסתי לתפקיד ראיתי שישראל מדורגת יחסית בתחום הבינה נמוך מאוד בגלל העדר מדיניות ממשלתית וזאת הייתה עבודה מאוד ממושכת, מאוד ארוכה. אשמח לשמוע ממך, מאיר, על התובנות. תציג קצת את המדיניות הזו, איך אתה רואה את הדברים לאור כל השינויים בעולם, לאור כל החקיקה האירופית ולאור האתגרים. כמובן, דני, אם תרצה להוסיף משהו, עבדת על זה גם קשה. זאת ההזדמנות גם להגיד תודה לכל הצוותים שבזמנו עבדו על זה קשה מאוד.

עדיין עובדים קשה.

נהדר.

שלום לכולם, תודה ליושבת-הראש על הדיון החשוב כאן ועל ההזמנה. אני שמח גם על ההשתתפות הערה של נציגים מכל התחומים הרלוונטיים, ממשלה, אקדמיה, תעשייה, מגזר השלישי. זה בדיוק השולחן העגול שצריך להתקיים סביב הסוגיות האלה.

כפי שציינת, אנחנו כבר למעלה מ-3 שנים עוסקים במשרד המשפטים בכלל המחלקות של ייעוץ וחקיקה בנושא הזה של טכנולוגיה ובראש התחומים שהצבנו לעצמנו זה באמת נושא הבינה המלאכותית, אבל אנחנו משתפים פעולה בעניין הזה עם שורה של גופים בתוך הממשלה, משרד החדשנות, המדע והטכנולוגיה, רשות החדשנות, משרד האוצר, משרד התחבורה, הרגולטורים הפיננסיים וגורמים נוספים.

ממעוף הציפור, אחד התפקידים המרכזיים שלנו, כפי שאנחנו רואים, הוא לסייע לקובעי המדיניות בנוגע לאיזון, שכבר עלה פה בדיון, בין הרצון מצד אחד לעודד טכנולוגיה חדשנית לבין ההגנה על זכויות ואינטרסים ציבוריים. כולנו ערים לשיח שמתנהל כרגע בעולם לגבי האתגרים, הסיכונים והאיומים של הבינה המלאכותית, אבל צריך גם לזכור את ההזדמנויות שהטכנולוגיה הזו מזמנת לנו, ולכן אני חושב שהאתגר יהיה לייצר את האיזון המתאים. העבודה הזו עדיין בתחילתה ואני מניח שעוד נעסוק בה בשנים הקרובות.

על קצה המזלג אני ארצה להתייחס לאתגרים שעולים כתוצאה מהשימוש בבינה מלאכותית. בגדול, האתגרים נובעים מהעובדה שהרגולציה בעולם ובמדינת ישראל מסתכלת אל אדם, מכוונת בעצם את כל הפעולות שלה ביחס לאדם, האדם הוא אחראי, איזה תפקידים אני מייעד לאדם, וכשאנחנו מדברים על מכונה, האתגרים יכולים להשתנות. למשל, איך מתמודדים עם אפליה שעלולה להיגרם כתוצאה מהטיה במערכות האלה? האם יש לאדם זכות לדעת שמערכת בינה מלאכותית מקבלת החלטה בעניין שלו? האם צריך לדרוש מעורבות אנושית בפעילות הטכנולוגית? באיזו מידה נדרש שהמערכת תסביר את הנימוקים להחלטה? מי יישא באחריות המשפטית בגין טעות של המערכת? השאלות האלה מורכבות. כנראה אנחנו נצטרך לעשות התאמות או לחשוב על הפרשנות של החקיקה שכבר קיימת, ובחלק אולי נצטרך להידרש לכללים חדשים ממש.

בשקף הבא אנחנו רואים מה נעשה בעולם. בעולם אנחנו יודעים שעוסקים באינטנסיביות בניסיונות לקדם רגולציה ואתיקה בתחום הבינה המלאכותית. יש ארגונים בין-לאומיים שעוסקים בזה, כמו ה-OECD, שפרסם עקרונות, שכפי שציינתי, הצענו לאמץ כעקרונות האתיקה בתחום גם בישראל. יש מדינות מובילות שמקדמות יוזמות רגולציה קונקרטיות. יש סקאלה שנעה בין האיחוד האירופי, שממליץ על רגולציה רוחבית נוקשה וכאן ועכשיו, לבין הגישה הבריטית האמריקאית, שנוטה יותר לרגולציה סקטוריאלית ומתפתחת. יש ארגוני תקינה בעולם, כמו ה-ISO ו-NIST שעובדים על פיתוח סטנדרטיזציה ותקנים בתחום הבינה המלאכותית.

ומה לגבי ישראל? הגישה שאנחנו הצענו באותו מסמך משותף עם משרד החדשנות, המדע והטכנולוגיה בהובלה שלך בתקופה שכיהנת כשרה נוטה יותר לגישה הבריטית והיא כוללת בין השאר את הרכיבים הבאים: קודם כל, רגולציה לבינה מלאכותית תיקבע ככלל ברמה הסקטוריאלית. זאת אומרת, לא ברמה רוחבית, או לא בהכרח ברמה רוחבית, אלא ניכנס לתחום הפיננסים, לתחום התחבורה, לתחום הבריאות וכן הלאה, ע"י הרגולטור שרלוונטי ולמול הסיכון הקונקרטי באותו תחום. זה, כפי שאמרתי, בשונה מהאירופים שמציעים רגולציה רוחבית.

הרגולציה תיעשה ככלל באופן שתואם את הרגולציה שמקודמת במדינות המפותחות ובארגונים בין-לאומיים. אנחנו צריכים לזכור שעם כל החדשנות הישראלית ישראל בסוף היא מדינה קטנה עם תעשייה משמעותית ונכונות של האזרחים לאמץ את הטכנולוגיה ואנחנו לא רוצים לייצר חסמים רגולטוריים מקומיים וייחודיים לפני כניסת הטכנולוגיה לישראל. הרגולציה תהיה מותאמת לסיכונים ומבוססת על ניהול סיכונים. יש הבדל בין נטפליקס, שמציעה על בסיס בינה מלאכותית איזה סרטים תקבל ותראה, לבין אבחון רפואי או החלטה לתת אשראי או לא לתת אשראי, וצריך שהרגולציה תבטא את ההבדל הזה. ייעשה שימוש כשאפשר ברגולציה רכה ובכלי רגולציה מתקדמים, וגם ייעשה שימוש בנסייניות רגולטורית, סנדבוקסים, כדי להתמודד עם אי הוודאות והקצב המהיר של הטכנולוגיה.

צריך גם לומר שבחצי שנה האחרונה, והזכירה את זה יושבת-הראש, העיסוק ברגולציה של הטכנולוגיה התפתח כמעט כמו הטכנולוגיה עצמה. אנחנו רואים חברות ומדענים מובילים בעולם שמזהירים מפני הסכנות שטמונות בטכנולוגיה, וחלקם אפילו ביקשו לעצור לתקופה מסוימת את הליך הפיתוח כדי לבצע חשיבה משותפת על הרגולציה. הקריאות האלה נופלות על אוזניים קשובות. אפילו בארצות הברית השיח משתנה וגם אנחנו קשובים לכך ואולי לצורך להתאים את המסגרת שהצענו להתפתחויות.

נתאר עכשיו כמה מהפעולות שכרגע נעשות בממשלה ברמה רוחבית בהיבטים האלה של רגולציה ומשפט. דבר ראשון שנצטרך לעשות הוא השלמת מסמך מדיניות הרגולציה לתחום הבינה המלאכותית. כבר פרסמנו טיוטה שלו להערות הציבור יחד עם משרד המדע, קיבלנו הרבה מאוד תגובות ענייניות ורציניות מהציבור, גם יש התפתחויות כרגע בעולם, ואת כל אלה נצטרך להטמיע במסגרת המסמך שנביא בפני הממשלה.

בסוף זה גם מסמך של מדיניות של שר. גם השר רלוונטי פה כי הממשלה בעצם הסמיכה את השר.

בוודאי.

עשינו עבודה משותפת אבל זה באמת היה פרי מדיניות.

נכון. ישנו צוות בין-משרדי שבוחן את הצורך בהתאמות ברגולציה הפיננסית לפעילות בינה מלאכותית. עו"ד אמיר וסרמן מרשות ני"ע יתייחס לכך. בייעוץ וחקיקה פועל צוות שבוחן את התאמת כללי המשפט המנהלי לשימושים בבינה מלאכותית ע"י הממשלה. גם העולם הזה יכול להיות שיהיה מושפע מהתחום הזה. לאחרונה יצא הצוות בסקר למיפוי היישומים של בינה מלאכותית במשרדי הממשלה ואנחנו מתחילים לקבל תוצאות ולנתח אותן.

אחרי שסקרנו את מה שנעשה, וכאן אני אסיים, נסתכל קדימה ונתבונן במה צריך לעשות. אני יכול להגיד כמי שנותן ייעוץ משפטי למשרדים שהבינה מלאכותית מתחילה להשפיע על העיסוק שלהם. אנחנו רואים את זה יותר ויותר. אני יכול גם לומר בצורה די בטוחה שנדרש להעמיד את ההיבטים הרגולטוריים והמשפטים של בינה מלאכותית במקום גבוה מאוד בסדרי עדיפויות, גם כדי להגן על הציבור מפני סכנות מסוימות אבל גם כדי להבטיח שהציבור ייהנה מהיתרונות של הטכנולוגיה.

אני אמנה כמה עקרונות ופעולות שלדעתי חשוב לנקוט. דבר ראשון, שיתוף פעולה ממשלתי. בדוח המלצנו על הסדרה סקטוריאלית אבל גם הדגשנו, ואני חוזר ומדגיש גם כאן, חייב להיות שיתוף פעולה ממשלתי. קודם כל זה יאפשר ללמוד מהניסיון של המשרדים, ודבר שני, ואולי חשוב מזה, שלא ייווצרו פערים משפטיים או רגולטוריים בין המשרדים. זה לא הגיוני שהציבור יקבל הגנה חלקית כשמדובר בשירות נפוץ שמשפיע על חיי הפרט, נניח בנקאות, ולקבל הגנה משמעותית יותר כשמדובר בשירות שפחות משפיע, נניח הכוונת תנועה.

מי ינהל את זה? יהיה גורם מרכזי שינהל את ההתאמה הזו?

אחת מההמלצות – בנושא הזה אולי גם יש שינוי לעומת ההצעה המקורית – יש חשיבה על זה שיהיה מוקד ידע ממשלתי שיעשה את הסנכרון הכולל הזה, לצד ההמלצה שעדיין הרגולציה תובל ברמה הסקטוריאלית. תובנה יסודית נוספת, ואני חושב שהיא ברורה לכל היושבים כאן, היא שאמון הציבור בטכנולוגיה עובר דרך משפט ורגולציה. הדיון הציבורי – ממש כתבות משבוע לשבוע – רווי בשיח על איומי הבינה המלאכותית, כשלאחרונה אפילו מדברים על איומים קיומיים. אני לא מזלזל חלילה באיומים האלה ואני חושב שלכולנו, מגזר ציבורי ועסקי, יש אחריות להקשיב ולחשוב איך מתמודדים עמם, אבל לצד זאת יש לא מעט שימושים שיכולים לשפר את חיי האזרח, אם בבריאות, בתחבורה, או בשירות הציבורי.

אם הציבור ישמע רק על האיומים הקיומיים בלי לשמוע על דרכי ההתמודדות איתם, הוא ייטה לא לאמץ את השימושים הפשוטים. בינה מלאכותית זקוקה בסופו של דבר לאמון האנושי. אמון כזה מתגבש בין היתר מתוך ידיעה שהדין והרגולציה מגנים על הציבור. כולנו מפקידים את כספנו בבנק מתוך אמון במערכת הבנקאית, אמון שנבנה על בסיס הפיקוח של המדינה על המערכת. אנחנו חייבים לייצר אמון כזה במערכות בינה מלאכותית בטוחות שיכולות לשפר את חיי האזרח.

נקודה נוספת שעלתה פה – אנחנו חייבים ליצור תשתית משפטית ורגולטורית לשגשוג הטכנולוגיה בתחומים של הדאטה והנסייניות. מדינת ישראל צריכה תשתית משפטית מסודרת לשיתוף בדאטה, כפי שלמשל היום האירופאים מקדמים בדברי חקיקה שאפתניים שמבקשים להנגיש דאטה ולהגביר את התחרות עליו. הדאטה הוא הבסיס לכל הפעילות של הטכנולוגיה הזו, כפי שנאמר כאן.

דבר נוסף, אנחנו חייבים לעודד את התרבות הנסיינית באמצעות יצירת סביבות ניסוי שיאפשרו פיילוטים מבחינת הטכנולוגיה. יש כבר ניסיון היום בממשלה שנצבר במשרד התחבורה עם הרכב האוטונומי וברשות החדשנות. זו צריכה להיות תרבות מפותחת יותר בקרב משרדי הממשלה ויש להם את הכלים לעשות כן. גם אנחנו במשרד המשפטים מגויסים לסייע.

נקודה אחרונה, שבעצם משקפת את מה שקורה פה בחדר – נדרש שיח משותף עם המגזר העסקי והאקדמיה. בינה מלאכותית היא שם רחב לשימושים שייתכן שעדיין לא ידועים לנו. את צ'ט GPT לא הכרנו, חברת הכנסת אורית פרקש הכהן, כשעסקנו בדוח. השוק תמיד יקדים אותנו בלדעת מה בקנה ומה מתפתח. אני לא ארחיב על סוגיית הכשרת כוח האדם במדינה, אבל זה בוודאי קריטי שעובדי מדינה יזכו לאוריינות טכנולוגית ושנגייס יותר אנשי טכנולוגיה, אבל עד שזה יקרה, וגם אחרי שזה יקרה, אנחנו חייבים להתמיד בשיח המשולש של אקדמיה, מגזר עסקי ומגזר ציבורי. שיח כזה יאפשר לנו לחשוף אותנו למגמות והתפתחויות, עשוי לתת למגזר העסקי יותר רצון לשתף פעולה עם הממשלה ולהגיע לפתרונות יצירתיים יחד. תודה רבה.

תודה רבה, מאיר, ושוב תודה על העבודה המשותפת שעשינו. יש לי כמה שאלות בנושא. המסמך המקצועי היה מסמך נלווה למסמך מדיניות שאני פרסמתי, טיוטה לשימוע, בנושא "עקרונות מדיניות רגולציה ואתיקה בבינה מלאכותית". המסמך הזה פורסם ב-30 באוקטובר, אתם מוזמנים להיכנס לאתרי משרד החדשנות או משרד המשפטים, ויש שם את כל החומר, מסמך מתודולוגיה ממש מרשים שנערך.

בזמנו התפיסה שאני אימצתי הייתה של חדשנות אחראית, של רגולציה רכה, אלה המונחים שבהם השתמשנו. דיברנו על כך שאין מקום לחוק בינה מלאכותית כמו שכרגע מחוקקים באירופה והלכנו יותר על האמצע של בין הגישה המאוד ליברלית בארצות הברית לבין הגישה היותר נוקשה באירופה. בסופו של יום שר המדע הנוכחי יהיה זה שיפרסם את המדיניות הסופית, הנוספת, וכאן השאלה שלי אליכם – כמובן כגורמי מקצוע, ההחלטה תהיה בסופו של דבר של השר – היא: א', האם באמת יש דברים שגרמו לכם לשנות את החשיבה מאז שפורסמה טיוטת המדיניות מטעמי באוקטובר?

דבר שני, אני רוצה להבין איפה עומדים דברים מסוימים שהותנעו, כי לפני 8 חודשים קבענו שתתחיל עבודה על כלי לניהול סיכונים, קבענו שיהיה מוקד ידע בנושא הזה שיפעל במשרד החדשנות בנושא הכללים, ואם אינני טועה, מאיר ודני, גם צוות רגולטורים שייעץ, שיהיה מוקד ידע ותיאום ממשלתי שיעסוק בריכוז ותיאום סוגיות ההסדרה של בינה מלאכותית וגם פורום רגולטורים ושיתוף הציבור בנושא הזה. רציתי לשאול איפה הסטטוס של הדברים האלה שיצאו לדרך.

בעבודה המשותפת של משרד החדשנות, המדע והטכנולוגיה ביחד עם ייעוץ וחקיקה, עם המחלקה הכלכלית, גובש אותו מסמך שמאיר הציג, גם את האתגרים שעמדו בפני הצוות שעבד על המסמך וגם את מדיניות הרגולציה שמדברת לא על איזשהו חוק רוחבי אלא על מתן הכלים לרגולטורים הספציפיים לפעול בתחומיהם. המסמך כלל עוד כמה נדבכים, אחד מהם הוא אותם עקרונות אתיים כפי שגובשו ע"י הצוות ועל ידך כשכיהנת כשרה בהקשר הזה, והוא כלל גם היבטים נוספים שצריך לפעול במסגרת הממשלתית, גם הקמת פורום שונים, גם הקמת מוקד ידע ותהליכים נוספים, שלגבי חלקם דיבר מאיר והם מפורטים בהרחבה במסמך.

אחרי שהמסמך הזה פורסם כטיוטה להערות הציבור ביצענו ביחד עם משרד המשפטים עוד שורה של פעולות. קיימנו הליך די משמעותי של שיתוף ציבור שכלל גם מפגשים באקדמיה, גם אירוע של שולחנות עגולים שהגיעו אליו עשרות גורמים רלוונטיים מהתעשייה, ממשרדי עורכי דין רלוונטיים, מהאקדמיה, מהמגזר השלישי ומעוד שורה של מקומות. ביצענו עוד מפגשים והצגנו את טיוטת הדוח בפורומים נוספים. קיבלנו שורה משמעותית של הערות ביחס לדברים, וגם, כפי שנאמר, ההתפתחויות שקרו מאז בהיבטים הטכנולוגיים, גם הן דברים שנלקחו מבחינתנו בחשבון.

בתקופה האחרונה, אחרי שהשלמנו את אותו מהלך של חשיפת טיוטת הדוח להערות הציבור, קיימנו גם מפגשים פנימיים של הצוות שעבד על המסמך במשרד החדשנות, המדע והטכנולוגיה ובמשרד המשפטים, אנשי המחלקה הכלכלית, שמענו חלק מהמעירים, גורמים שהעבירו הערות בכתב ביחס לדברים, והצענו להם לקיים מפגשים יותר משמעותיים כדי להעמיק וללבן את הדברים, מתוך הבנה ששיתוף הציבור בהקשרים האלה הוא מאוד מאוד חשוב.

במסגרת הזאת התחלנו מבחינתנו לעשות עבודה על עדכון המסמך לכדי מסמך סופי, שאני מקווה שיוגש לשר ממש בשבועות הקרובים, כשבחלק מהמלצות שיש לנו הכוונה היא באמת לבצע שינויים כאלה ואחרים. אני לא חושב שבהכרח באופן משמעותי, בהמלצה העיקרית אולי, אבל חלק מהדברים בהחלט היו דברים שלמדנו וחשבנו ואנחנו כרגע מלבנים כדי לשקול איזה שינויים נדרשים במסמך.

לגבי הדברים האחרים, לגבי כלי ניהול סיכונים, צוות רגולטורים, מוקד ידע, איפה עומדים הדברים?

במסגרת הזאת של הכלי לניהול סיכונים עדיין אין כלי לניהול סיכונים, זה חלק מההמלצות שיש בטיוטה. אנחנו כן ממשיכים לעקוב אחרי מה שקורה גם בעולם בהקשרים האלה ואני חושב - - -

לא, זה קצת יותר מההמלצות לדעתי, כי במסמך שאני כתבתי אני קבעתי: זה הכללים ועכשיו אנחנו מורים ומנחים ומתחילים את הפעולות הללו.

זה נכון שבמסמך שפורסם בסוף כטיוטה להערות הציבור - - -

זה היה לשימוע, נכון. אז בעצם רק כשהוא יהיה מחייב תתחיל העבודה על הקמת כלי הניהול. אבל לא, אם אני לא טועה, מבחינת ההנחיה האדמיניסטרטיבית לצוותים, אמרנו להתחיל לעבוד כבר על כלי ניהול סיכונים, נכון?

במקביל לעבודה על גיבוש המוסמך והטעמת ההערות, המשרד גם כן עוקב אחרי מה שמתקדם בעולם בהקשרים האלה, כי גם הכלים לניהול סיכונים שקיימים בעולם עדיין בתהליכי בנייה בהקשרים האלה. גם לעניין מוקד הידע, זה פחות במסגרת שלי, אולי אנשי המשרד יידעו לפרט יותר, אבל יש איזשהו מהלך מול הגורמים הממשלתיים כדי להקים את אותו מוקד יידע במשרד שיוכל לבצע גם את הפעולות הנוספות שיוקצו בהקשר הזה.

מאוד חשוב, יופי. תודה רבה. אני רק רוצה לומר שמאוד חשוב להוביל ולקדם את הנושא הזה. לטובת המאזינים, כלי לניהול סיכונים, כמו שלמדתי מאנשי המקצוע במשרד, זה בעצם סוג של רגולציה יותר קלה אל מול התעשייה שמסייעת לחברות, לתעשייה, כשהן נתקלות בשאלות שנוגעות לבינה מתי הן נכנסות לאזורים שדורשים יותר שקיפות, הסברתיות, אחריותיות ועוד, וזה כלי שהוא נפוץ ואליו הולכות הרבה מאוד מדינות, אבל אני חושבת שלאור ההאצה המאוד גדולה ולאור הזמן שחלף כדאי מאוד לתת גז על הדברים החשובים האלה.

הכוונה היא להשאיר לזירה השיפוטית את הפיתוח של הכללים בתחום הזה על הדברים הבסיסים? כלומר, איך אתם מצפים מבית המשפט לנהוג בתביעות נזיקיות שיתחיל להיות מוגשות?

רגע, אני רק אעכב אותך כי פרופ' אורנה ברי נמצאת בזום. פרופ' אורנה ברי, היום בכירה מאוד בגוגל ועוסקת בנושא הבינה המלאכותית, הייתה מדענית ראשית הרבה מאוד שנים, פורצת דרך בתעשייה הישראלית ואישה מעוררת השראה. אני חושבת שמה שהיא רצתה להגיד לכולם זה שצריך לתת גז בנושא הזה ולהתקדם אתו, אבל אנחנו כמובן נשמע אותה. לצערי, עקב תקלה טכנית איינו מצליחים לשמוע אותה אך נשמע אותה בדיון הבא.

הייתי רוצה לעבור לדובר האחרון מטעם הממשלה. עו"ד אמיר וסרמן, היועץ המשפטי של רשות ניירות ערך. נשמח לשמוע אותך כדוגמה איך התפיסה הזאת שיותר תחומי פעילות מסוימים בבינה מלאכותית עוסקים באתגרי הבינה המלאכותית ובכלל איך מה אתה חושב שכדאי שנדע ונבין ומהי העשייה שלכם בצוות הרגולטורים הפיננסיים בנושא הבינה.

צהריים טובים ותודה רבה על ההזמנה להשתתף בדיון. אני עומד בראש צוות שעוסק בבינה מלאכותית בסקטור הפיננסי יחד עם שרית פלבר ממשרד המשפטים. אני אספר בכמה מילים על הצוות שלנו. זה צוות שהוקם בתחילת השנה, יוזמה של מאיר לוין כאן ויתר הרגולטורים הפיננסיים. יש לנו חברי צוות ממשרדי האוצר והמשפטים, רשות התחרות, בנק ישראל, רשות שוק ההון ורשות ניירות ערך.

עבודת הצוות באה בהמשך לשני מסמכי רקע חשובים, על מסמך אחד דיברתם, זה מסמך המדיניות בתחום הבינה המלאכותית בישראל שפורסם להערות ציבור והוא מסמך אסטרטגיה שמציג את הנושא עם תפיסה של אימוץ של עקרונות אתיים לשימוש בבינה מלאכותית וגם אמירה לגבי הצורך בבחינה של הרגולציה ע"י רגולטורים סקטוריאליים, שזה בעצם מה שאנחנו עושים. המסמך השני הוא מחקר שנערך לבקשת משרד המשפטים ע"י צוות של חוקרים מאוניברסיטת תל אביב שבו נסקרו השימושים האפשריים בבינה מלאכותית בסקטור הפיננסי וההתפתחויות ברגולציה הזרה בתחום הזה ולמעשה החוקרים ממשיכים לסייע לנו גם בעבודה הנוכחית.

השאלה הראשונה היא למה להקים צוות שעוסק בבינה מלאכותית דווקא בסקטור הפיננסי. ראשית, זה תחום שצפויים להיות בו שימושים רבים ל-AI. זה תחום מפוקח שבו גם יש כלים קיימים לעסוק בפעילות הזו, ובתחומים מפוקחים, צריך לזכור, שהבחינה היא לא רק האם צריכים להיות כללים חדשים שיסדירו את הפעילות אלא גם האם יש חסמים, כלומר רגולציה קיימת שצריך להסיר כדי שהפעילות בכלל תתאפשר. תחום הפיננסיים הוא תחום שמורגל בשינויים טכנולוגיים ויש כאן עבודה משותפת של הרגולטורים הרלוונטיים כדי ללמוד ולהתמודד עם האתגרים באופן דומה, וכמובן בעולם ראינו יוזמות דומות של רגולטורים פיננסיים, זאת אומרת, אנחנו בחברה מאוד טובה מבחינת ההסתכלות והכניסה לתחום הזה בעת הנוכחית.

הצוות הונחה בשלב הראשון להתמקד בשימושים שקשורים לחיתום של אשראי וביטוח, לניהול תיקי השקעות ולפעולות של ייעוץ. ייעוץ זה יכול להיות ייעוץ השקעות או ייעוץ פנסיוני. אנחנו חילקנו את העבודה ל-3 שלבים מרכזיים: השלב הראשון הוא שלב של למידה, שבו בדקנו מה כל גורם, כל רגולטור, עשה בנושא הזה עד היום – כל גורם עשה מעט – מפגשי למידה על הטכנולוגיה, למידה של ההתפתחויות הרגולטוריות בחו"ל, חלקן נזכרו כאן.

השלב השני, שאנחנו כעת נמצאים בו, זה שיח עם התעשייה. פרסמנו קול קורא והתחלנו לקיים מפגשים עם גורמים קיימים בתחום הפיננסי ועם מגזר ההייטק. השלב השלישי יהיה התכנסות לדיונים והמלצות, שזה אמור לקרות לקראת סוף השנה. לתחושתנו, הצוות פועל בעיתוי המתאים. הרעיון להקים אותו היה מעט לפני המפץ הגדול של צ'אט GPT וזה עיתוי פנטסטי ללמוד את הנושא ולהיכנס אליו גם מבחינה רגולטורית. אנחנו מרגישים שיש כאן גם שיתוף פעולה שהוא לא קורה כל יום בין הרגולטורים הפיננסיים, בין כל גורמי המדינה שרלוונטיים לתחום שלנו, כדי להשיג את התוצאות הנכונות.

אתה יכול לפרט את סיכוני ה- AIשבהם אתם תתמקדו למשל?

הם נסקרו כאן קודם והם באמת נובעים מכך שפעולות שבוצעו בעבר ע"י בני-אדם יבוצעו ע"י מכונות. אפשר לקחת לדוגמה את תחום האשראי, תחום שמאוד מדובר למשל בארצות הברית - - -

מתן הלוואות.

הסיכונים שמדברים עליהם בדרך כלל הם סיכונים של הטיות, סיכונים של הסברתיות, מודל שעובד בקופסה שחורה, כיצד ניתן להבין אותו, סיכונים שקשורים לסייבר, לפרטיות. יש שורה של סיכונים שמקובל לדבר עליהם בסקטור הפיננסי. אני כן אגיד שבגלל שמדובר בתחום מפוקח יש כנראה גם כלים טובים יותר להתמודד עם הסיכונים. אני מניח שבוועדה אתם תדברו גם על פעילויות שהן לא מפוקחות בכלל, פעילויות שהן ברשת, פעילויות שלא נמצאות תחת מסגרת. כשיש מסגרת קיימת המיטיגציה או ההתמודדות יכולה להיות טובה יותר.

תודה רבה. קודם כל, אני חושבת שזו דוגמה מצוינת. צריך עוד צוותים כאלה, מאיר, בתחומים נוספים, ודני והמשרד כמובן, שתובילו בנושא הזה. זה באמת מעניין. הינה למשל דוגמה לבינה מלאכותית שכשהיא תמפה אדם ותקבע או תעשה קריטריונים לתנאי ריבית ושיעור ריבית, היא תגיד: רגע, מי האנשים שאנחנו רגילים שמשלמים ועומדים בתשלומים וכו', וכאן בדיוק יכולים להגיע להטיות שאנחנו חוששים מהן. מה סטטוס העבודה הזו?

אנחנו בשלב השני, כמו שאמרתי, של עיבוד הערות שקיבלנו בקול הקורא, ויותר מזה, מפגשים גם עם אנשים שהגיבו לקול הקורא וגם גורמים שלא הגיבו ואנחנו רוצים לפגוש. זה השלב של השיח עם התעשייה. במקביל, כמעט כל שבוע יש פרסומים חדשים בנושא של הבינה המלאכותית באופן כללי וגם בתחום הפיננסי אז אנחנו ממשיכים לעקוב, לדבר עם רגולטורים בחו"ל. זאת פעילות מאוד נמרצת בתקופה הזו.

תודה רבה. גאיה הררי, בבקשה.

שמי גאיה הררי, אני ראש תחום מדיניות ורגולציה ב-SNPI. אנחנו מכון מדיניות ומחקר שמבקש לשמר ולקדם את המובילות הטכנולוגית בהייטק הישראלי. אנחנו נמצאים בקשר עם הרבה מהגורמים החשובים שנמצאים כאן סביב השולחן ועושים עבודה מאוד משמעותית בתחומים של בינה מלאכותית, אבל חשוב לנו גם רגע לעצור ולהגיד שהעולם נמצא בתחרות מאוד מאוד גדולה בתחום הזה. כולם רוצים להפוך להיות מעצמות AI כי ההזדמנויות הן עצומות והשאלה של מה יעשה, כמה יעשה ומתי יעשה זה מה שיקבע אם אנחנו נהיה או לא נהיה AI Nation.

ב- SNPIאנחנו מסתכלים על זה מכמה זוויות ואני אבקש להגיד מה לדעתנו הדברים החשובים והדחופים ביותר לעשות בכל אחת מהסוגיות. הדבר הראשון זה העולם של הובלה טכנולוגית, מובילות, והאם אנחנו נצליח באמת לשמר אותה. זיו התייחס לכך שעל פי המדדים אנחנו באמת מאוד טובים במו"פ וקצת פחות טובים באסטרטגיה ממשלתית ובתשתיות והוא גם הציג הרבה מהפעילות החשובה שתוכנית הבינה הלאומית הולכת לעשות ועל התוכנית של פורום תל"מ.

הפעימה השנייה של פורום תל"מ כוללת הרבה מאוד עשייה אבל לא הרבה מאוד כסף, וכן חשוב להגיד שאנחנו דיברנו לפני כמה שנים – פרופ' ישראלי דיבר על 10 מיליארד שקלים לבינה מלאכותית, אורנה ברי דיברה על 5 מיליארד, יו"ר הוועדה בתפקידה כשרה ניסתה להגדיל את התקציב למיליארד וחצי, אם אני זוכרת נכון, 2 מיליארד, וכרגע אנחנו מדברים על 500 מיליון שקלים שנכנסו בפעימה השנייה ובאמת ישמשו לכל הדברים המאוד חשובים שזיו דיבר עליהם והוא מקדם.

אנחנו רוצים להגיד שאם ישראל רוצה להיות מעצמה בתחום היא צריכה להשקיע משאבים הולמים. לדבר הזה יש גם חשיבות מאוד גדולה במסר הבין-לאומי ועצם העובדה הזו יכולה למשוך הרבה הזדמנויות לישראל. אנחנו גם מאמינים שהשותפות של ממשלה ושוק הפרטי בישראל היא זו שיצרה את התעשייה הכול-כך משגשגת, ודווקא כשאנחנו בתחילה של גל טכנולוגי חדש הבנייה של תשתיות היא הכי חשובה והמעורבות הממשלתית היא הכי חשובה והדברים שייעשו או לא ייעשו עכשיו הם דרמטיים.

שני הדברים העיקריים שאנחנו חושבים שצריך להשקיע בהם זה תשתיות והון האנושי. זה מאוד מתחבר לעשייה שאנחנו שומעים עליה כאן. בתשתיות צריך להגיד שאנחנו חושבים שכוח מחשוב צריך להתחיל להיתפס בממשלה כמשאב בסיסי. זה חשמל. זה הדבר הכי בסיסי שעליו אחר כך אנחנו יכולים לפתוח את כל הטכנולוגיות ולפתח אותן. המשאב הזה צריך להיות מאוד-מאוד זמין וזמין בצורה שוויונית שמעודדת תחרותיות. הדבר הזה בעינינו הוא ממש קריטי.

הסוגיה השנייה, שבהרבה מובנים קשורה לסיפור של תשתיות, זה הון אנושי. ישראלים כבר היום מובילים בעולם את המהפכה של הבינה המלאכותית אבל לא בהכרח הם עושים את זה בישראל. אנחנו מאוד מאוד רוצים להחזיר לכאן טאלנטים, למנוע בריחת מוחות, לפתח כאן את ההון האנושי שיוביל את העולם הזה, ובשביל זה באמת צריך תשתיות, אקדמיה, תמריצים ובקנה מידה מאוד מאוד גבוה ודרמטי.

הצד השני זה הצד של סיכונים וכאן אנחנו מתחברים לשיח המאוד חשוב על רגולציה וחקיקה. אנחנו באמת נמצאים בשבוע מאוד דרמטי בעולם, אירופה בדיוק בשיא העבודה על ה- AI Actועל חוק הבינה המלאכותית האירופי. פה זה לא אירופה ואני חושבת שזה טוב. דווקא זה שהמסמך שיו"ר הוועדה, משרד המשפטים, ובגילוי נאות אני אספר שגם אני הייתי קשורה אליו בתפקידי הקודם - - -

נכון, גאיה עבדה איתי במשרד החדשנות וסייעה לכתיבת מסמך המדיניות.

אז חשוב לי להגיד שדווקא העובדה שמאז אוקטובר עדיין הוא לא אושר סופית ועדיין משלימים את העבודה המאוד חשובה של שמיעת הערות הציבור, וכולנו ראינו כמה קרה בחצי שנה הזו – הפיצוץ הגדול של ה- Generative AIושל צ'אט GPT – מראה לנו שהמחוקק לא יצליח להדביק את הקצב של הרגולטור, בטח באקלים הישראלי, באי היציבות הישראלית, וראינו גם כמה קשה היה להעביר את תקנות הפרטיות. כנראה שחקיקה זו לא הדרך לישראל.

אבל כן חשוב להגיד – וכאן אני מאוד מתחברת למה שנאמר פה בחדר וברור גם שגורמי המקצוע מבינים את החשיבות – האלטרנטיבה של ואקום היא לא טובה. אם ישראל אכן תבחר לאמץ את מסמך המדיניות וללכת אל העולם של רגולציה חכמה, זה תפקיד שהוא הרבה יותר קשה ומסובך מלחוקק חוק, כי הוא דורש שכל הממשלה תשב בשיתוף פעולה עם גורמי ציבור, עם אקדמיה ותעשייה, ותעשה רגולציה שהיא חכמה, גמישה ויצירתית. הדבר הזה באמת דורש תיאום ממשלתי מאוד מאוד גדול ועבודה מאוד מאוד חשובה, שאם לא יעשה כל מה שנאמר על כלי לניהול סיכונים ועל מוקד ידע, התוצאה עשויה להיות ואקום.

ואקום, מעבר לזה שהוא לא שומר על הזכויות והאינטרסים של האזרחים, הוא גם מאוד לא טוב לתעשייה. גם התעשייה רוצה ודאות והחשש בוואקום הוא שהוא יתמלא בצורה שלילית. אז אנחנו מאוד מעודדים את השיח שאנחנו שומעים כאן בשולחן ומקווים שגם הממשלה החדשה תבין שהדבר הזה דורש משאבים, גיבוי פוליטי והרבה מאוד תמיכה בגורמי המקצוע בשביל להשלים את המהלך השאפתני הזה שאנחנו נהיה המדינה הזו שעושה רגולציה חכמה, גמישה וטובה. אני כן אגיד בנקודה שיכול להיות שצריך לשקול שבתחומים מסוימים ממוקדים כן תהיה רגולציה או חקיקה ייעודית. סין עושה את זה ועם כל הביקורת על סין דווקא בבינה מלאכותית היא מעצמה וגם בחקיקה של בינה מלאכותית, אז אולי יש כמה תחומים שאפשר כבר עכשיו להתחיל לחשוב לתת להם מענה חקיקתי.

הדבר האחרון זה הסיפור של הטמעה במערכות הציבור, מתי כולנו נתחיל להרגיש שאנחנו חיים וחיות ב- AI Nation, וגם כאן מקווים שהעבודה תיעשה בצורה דרמטית ומורגשת ובאמת מקווים להסתכלות אסטרטגית, סנכרון ממשלתי, תקציבים, מאמצים שיבטיחו שנהיה AI Nation. תודה רבה על העבודה. מקווים שהיא תמשיך.

תודה רבה. בבקשה, פרופ' מארק פייגן, בבקשה.

(מדבר בשפה האנגלית, להלן תרגום: )

מארק פאגן מאוניברסיטת הווארד הפקולטה על שם קנדי, בית ספר לממשל, מנהל התוכנית לרכב אוטונומי. בנוסף, אני עוסק גם בבינה מלאכותית. אני מעריך ומודה על הזמנתכם.

המיקוד של הערותיי הם לטווח הקצר ולא הטווח הארוך. אני מאמין שהממשלה נמצאת בעמדת מפתח בטיפוח מערכת יעילה של בינה מלאכותית. ישנם מהלכים שניתן לעשות כרגע כדי להפוך זאת למציאות.

אני אציג ארבע קטגוריות בהן ממשלות יכולות לפעול כדי לתרום לפיתוח בינה מלאכותית בארץ ישראל: 1. להיות מנחה. 2. להיות מנהל סיכונים. 3. להיות מפשר 4. להיות משתמש.

אני אסביר כל אחד מהסעיפים. בתפקיד המנחה, לממשלה יש את היכולת לשכנע ולהביא את כל הגופים יחד להידברות: ממשלה, מגזר פרטי, חברה אזרחית. אנחנו לא יכולים להצליח לקדם את הבינה מלאכותית רק על ידי חלק מהגופים. החלפת המידע תוביל לשינוי. לממשלה יש את היכולת לשכנע את כל הצדדים. אתן לכם דוגמא מהעולם שלי: אנחנו מביאים יחד בהאקת'ון את כל גורמי הממשל, הסקטור המוניציפאלי, המגזר הפרטי, החברות המפתחות, המשתמשים בטכנולוגיה, חברות שעוסקות בניידות, אקדמיה ועוד סביב שולחן אחד. במשך 24 שעות אנחנו דנים בנושאים ספציפיים, כל פעם בנושא אחר, כגון: בטיחות, איכות סביבה, פרטיות ועוד. קבוצת האנשים הללו יכולים להוביל לשינוי. בנוסף, הממשלה מחזיקה בתפקיד של מוציאה לפועל, מממנת מחקרים, ומממנת במקום שהשוק קטן מידי כדי להביא משקיעים. למשל בנושא תחנות טעינה, כיום אין עדיין רווח לחברות והן לא רוצות להשקיע ולכן הממשלה יכולה להשקיע ולגרום לזה לקרות.

בתפקיד השני שכבר חלק דיברו עליו, הממשלה כרגולטור. אני רואה זאת כניהול סיכונים יותר מאשר רגולטור. אני חושב שהממשלה נמצאת בתפקיד של ניהול סיכונים יותר מאשר לכתוב רק תקנות וחוקים.

בתחום הבינה המלאכותית אנחנו ניצבים מול חדשנות וזה שונה מרגולציה בעבר. ישנו ספקטרום רחב איך אתה יוצר רגולציה או שליטה בתחום של חדשנות. בקצה האחד יש את החופשיות לפתח כאשר הסיכון הוא מינימלי לאזרח. לאחר מכן יש שלב שאנו עוברים למצב שבו אנחנו צריכים ליצור רגולציה חדשה שלא הייתה קיימת בעבר ובקצה השני של הספקטרום אנחנו חוסמים. זו חדשנות שאנחנו לא יכולים לקדם בשלב זה, למשל: הנדסה אנושית מתאים למודל זה.

כדי להסביר לכם, אקח אתכם שוב לעולם של הרכב האוטונומי ולמידע הנאגר בתחום זה. במקרה זה יש לנו ארבעה תחומים: 1. מידע על הרכב עצמו: מהירות, כמה זמן לוקח לטעון ועוד. בתחום זה אין לממשלה תפקיד ויש אור ירוק לצבור נתונים ומידע. 2. מידע שהרכב האוטונומי קולט תוך כדי נסיעה: תמרורים, צמתים ועוד. למידע זה יש שימוש גם למפעיל וגם לממשלה ואנחנו משתמשים ברגולציות הקיימות. 3. מידע על האנשים שבתוך הרכב- הנוסעים: בכל רכב אוטונומי יש מצלמה. נשאלת השאלה של מי המידע הזה? וכאן צריך רגולציות חדשות. 4. הרכב האוטונומי אוסף מידע במצלמה על המתרחש ברחוב. המפעיל של המכוניות הללו אוגר מידע רב לגבי האנשים ברחוב. עולה כאן שאלה מעניינת: האם יש כאן רגולציה חדשה שצריך לנסח? או חייבים לעצור וכאן זה קו אדום. זו דוגמא לאתגרים הנציבים בפני מפעילי הרכב האוטונומי.

לסיכום, ה- Sam Boxes הוא מודל מעולה מכיוון שהוא מאגד ביחד את כל הגופים הקשורים לנושא מסוים, ויוצר שיח משמעותי ומוביל לשיתופי פעולה.

התפקיד השלישי של ממשלות הוא להיות מפשר. הבינה מלאכותית הוא מרכיב אחד בעולם. אתן לכם שוב דוגמא מרכבים אוטונומיים. לרכבים אלו יש אפשרות להוריד באופן דראסטי את הנפגעים והמתים בתאונות דרכים. בארצות הברית מתים 34 אלף אנשים בשנה מתאונות. הרכבים האוטונומיים יורידו את מספר המתים בחצי או אף יותר. אבל במקביל שימוש ברכבים האוטונומיים יצרו תופעות משמעותיות אחרות. רכבים אלו ימחקו תעשיות שלמות של עבודה: למשל בארצות הברית ארבעה מיליון אנשים מתפרנסים מנהיגה. העבודות הללו יכולות להימחק . תפקיד הממשלה לראות התמונה הרחבה ואיך מביאים למיקסום התועלת לחברה.

הנקודה האחרונה שאני רוצה להתייחס, היא תפקיד המדינה כמשתמש בבינה מלאכותית. למשל בתחומים של בטחון ובטיחות- ישראל מאוד מצליחה. ניתן לשימוש בזה לבריאות, לאיסוף מיסים ועוד תחומים רבים. השימוש בבינה מלאכותית הוא בלתי נגמר וניתן להשתמש בזה כבר היום.

לסיכום, כיצד הבינה מלאכותית יכולים לתת לנו מושג מה יהיה בעתיד. זו טכנולוגיה חדשה. מתי נגיע למיליון לקוחות. הכול קורה מהר והסבירות גבוהה שהדברים יתפתחו באופן לא צפוי.

אני מציע שני כלים: 1. System dynamic – מערכת דינמית, שרואה את כל ההיבטים ולא מערכת צרה שמסתכלת על תחום ספציפי 2. הכנת תרחישים מגוונים למצבים אפשריים. מה יכול לקרות בעולם הלא ודאי הזה.

אני מודה לכם על הזמן שהקדשתם לי.

תודה לך על הדברים והצפת האתגרים שאנו ניצבים בפניהם ואני מקווה שנוכל לדון בזה בדיונים הבאים. המטרה של הדיון הראשון בנושא זה היא הרמת הדגל לקדמה הזו שאנו צריכים לשאוף אליה. אני מקווה שנוכל להתייעץ איתך גם בעתיד.


תודה רבה. אני באמת מעריכה את זה. נדבר על אותם הדברים, הסיכונים וההזדמנויות ועל העובדה שהמדינה צריכה להיות עם תפקיד מאוד אקטיבי כי היא צריכה לתרחש – זה מה שהוא מתכוון ב- scenario planning – את כל האדוות של ההשפעה שתהיה לדבר הזה, להיערך מצד אחד אבל גם להעצים את הפוטנציאל שיש לדבר הזה לשנות את החיים של כולנו לטובה. חבר הכנסת יאסר חוג'יראת, בבקשה.

שלום לכולם, דיון מעניין. רציתי לשאול תחילה האם יש בחדר ערבים או נציגים של החברה הערבית?

אנחנו משרתים את כל הציבור.

האם יש חרדים? אין. הנושא של בינה מלאכותית זה נושא מאוד חשוב, הוא בעצם העתיד של ההתפתחות, לא רק בתעשייה, לא רק בהייטק אלא בכל תחומי החיים, גם בחינוך, ברווחה וכו'. אני חושב שמדובר כאן על ההון האנושי וחשוב מאוד – אני רוצה לשים זרקור – על הנושא החברתי. כדי להתקדם בכל נושא הבינה המלאכותית, בכל התחומים שבתוכה, חייבים בצורה כזו או אחרת לשלב גם את האוכלוסיות המוחלשות, גם החברה הערבית וגם החברה החרדית. זה חשוב מאוד. זה נושא שצריך להתייחס אליו בחשיבות וצריך לקחת אותו לתשומת הלב, כל נושא ההכשרות.

מצד השני, אנחנו כן רוצים להתקדם. אני מכיר יותר את הנושא המדעי, רפואה מותאמת אישית, כי אני בא מהתחום. יש הרבה דאטה, יש הרבה מידע וחשוב לשמור אותו ולנצל אותו בשביל להתקדם. הדבר החשוב הוא גם שצריך בלמים ואיזונים בכל ההתפתחות של הבינה המלאכותית. חשוב מאוד תמיד לשמור גם על הפרטיות. שמעתי את הייעוץ המשפטי, אני בעד אולי ייעוץ סקטוריאלי ולא רוחבי כי לכל תחום צריך לתת את הבלמים בצורה כזו או אחרת. תודה.

תודה. ליאת גלזר, גוגל, בבקשה.

שמי ליאת גלזר, אני מנהלת קשרי ממשל ומדיניות ציבורית בחברת גוגל. אנחנו שמחים על ההזדמנות להגיע ולהשתתף בשיח הזה וקצת לחלוק את התפיסה שלנו בחברה לגבי בינה מלאכותית. הרבה מהדברים נאמרו כאן ואחד הדברים המרכזיים שנאמרו זה שהשיח הזה הוא שיח משותף והדרך הנכונה לנהל אותו היא באמת בפורום כזה של שולחן עגול. זה לא רק שיח של ממשלה, זה לא רק שיח של תעשייה, זה לא רק שיח של אקדמיה, וזה משמח אותנו שהגופים שמובילים את התהליכים הממשלתיים באמת מכירים בכך. שמחתי על עוד כמה דברים שעלו כאן בדיון וזה שהדיון לא עסק רק ברגולציה ובסיכונים אלא גם בהזדמנות.

אנחנו לאחרונה, בגוגל, פרסמנו כמה מסמכים בנושא שעוסקים בתפיסה שלנו של מהי המסגרת הנכונה לגבש מדיניות בתחום הזה של בינה מלאכותית. מכיוון שאנחנו כחברה עוסקים בזה, זו העבודה שלנו, אנחנו AI-first company כבר כמה שנים. נכון שהיום כולם מדברים על Generative AI אבל ב-AI יש המון המון דברים וכל המוצרים שלנו שאתם משתמשים בהם כוללים אלמנטים כאלה. יש לנו פעילות מאד משמעותית בתחום של AI and Social Good, שמשתמשים במודלים של בינה מלאכותית לחיזוי אסונות או לטייב חוות דעת רפואיות. לכן אצלנו בחברה אין ואקום, אבל זה לא אומר שאנחנו לא חושבים שיש מקום לממשלה להתערב ולהביע את עמדתה גם על ההזדמנות וגם על הסיכונים.

לאחרונה פרסמנו מסמך – אני יכולה לחלוק עם כולם את הקישורים, יש לנו אותו גם מתורגם לעברית – שמדבר על שלושה עמודי תווך (pillars) כשבאים להסתכל על מדיניות AI: אחד, המישור של ההזדמנות, זיהוי ומיצוי ההזדמנות הכלכלית שטמונה בבינה מלאכותית. אני רוצה להגיד על זה רק דבר אחד קצר, שלאורך ההיסטוריה מדינות שבחרו לאפשר גישה מרבית לטכנולוגיה וניצלו אותה להשיג יעדים ציבוריים, במקום לנסות ולהגביל את ההתקדמות הטכנולוגיות, הן אלה שקצרו את פירות ההצלחה ואני חושבת שזה בוודאי נכון גם למישור של בינה מלאכותית.

הדבר השני הוא הנושא של קידום אחריות וצמצום הסיכונים. דובר על זה רבות. אני מתחברת מאד לדברים שמאיר דיבר. בלי אמון של הצרכנים במערכות האלה לא יהיה שימוש בטכנולוגיה ואנחנו נאבד את הפוטנציאל. הדבר האחרון זה הנושא של אבטחה ובטיחות. הנושא של בינה מלאכותית הוא בעצם שחקן בשני הכיוונים – הוא גם יכול לשפר את היכולת ואת הכלים שיש בתחום האבטחה אבל מהצד השני גם מייצר סיכונים חדשים, כמו למשל הנושא של פייק, דיפ-פייק, ואנחנו מנסים לייצר כלים שייתנו יותר מידע על מנת להבין את המקור של התוצרים ושל המידע שאנשים שנחשפים אליו. כאמור, אנחנו כאן להמשך שיח, היינו שותפים לשיח גם בשולחנות העגולים וגם בעת גיבוש המסמך וכל מי שירצה לקבל קישורים לכל המסמכים אני אשמח לחלוק אותם. תודה.

תודה רבה. ד"ר יובל פינטר, מרצה באוניברסיטת בן גוריון, בבקשה.

תודה רבה על ההזדמנות ועל ההזמנה. אני מבין שזמני קצר אז אני לא אגע בכל הדברים שרשמתי לי. קודם כל, שמחתי לשמוע על המאמץ לגרום לעוד מידע יותר, יותר דאטה ממשלתי, פרוטוקולים וטקסטים ציבוריים להשתחרר בתור מידע שאפשר יהיה לאמן עליו מודלים בעברית בעתיד. זה משמח מאוד לשמוע ואני מקווה שזה באמת גם יקרה.

רציתי לדבר על כך שבינה מלאכותית בסופו של דבר היא כלי בשימוש של בני-אדם, אנשים משתמשים בזה והרגולציה צריכה להתמקד כן בני-האדם שעושים בה שימוש. הטכנולוגיה לא אחראית לכלום בסופו של דבר וצריך להבין שזה משהו שהמשתמשים, כולל הגורמים הממשלתיים והציבוריים שעושים בה שימוש, צריכים לקבל על זה הכשרה מאוד מאוד נרחבת. הם אלה שצריכים לדעת אחר כך לעמוד בכללים ולהימנע מהחלטות שמתבססות על ההטיות למיניהן ששמענו עליהן פה במהלך הדיון. למשל, אחד הדוברים דיבר על כלי הסברתיות במונחים של מה מכונה חושבת. זה מונח שמאניש את האלגוריתמים, את המוצרים האלה, באופן בלתי מודע זה גם מסיר את האחריות מבני-האדם שמשתמשים במכונות האלה וכדאי להקפיד על המונחים בצד הזה של החקיקה והרגולציה. זה הדבר החשוב שרציתי לומר.

תודה רבה. עו"ד ניר גרסון, הרשות להגנת הפרטיות, גוף מאוד חשוב ורלוונטי לדיון הזה.

כן, בהחלט. גברתי יושבת-ראש, הרשות להגנת הפרטיות אכן היא גוף רלוונטי לנושא. היינו גם שותפים כמובן בגיבוש טיוטת המדיניות. שאלות של פרטיות, של אבטחת מידע, הן לא היחידות בנושא הבינה המלאכותית אבל הן בהחלט קיימות ונקודת המוצא היא שרגולציית ה- Data protectionודיני הפרטיות ממשיכים להתקיים גם בנוגע לטכנולוגיות בינה מלאכותית. בניגוד אולי לתחומים אחרים, בתחום שלנו אנחנו עוסקים באופן שוטף כבר הרבה זמן בדברים שכרוכים בסוגיות של בינה מלאכותית. הוזכרו פה מצלמות זיהוי פנים וטכנולוגיות שונות, אנחנו גם עוסקים בזה בשוטף כיוון שבתחום שלנו לא מדובר ברבולוציה, במהפכה, אלא באבולוציה, התפתחות שפשוט בתקופה האחרונה מתקדמת בטור הנדסי.

אתה יודע שלמשל החקיקה שתתקדם בפרלמנט האירופי יש בה פעולות פסולות ואסורות, כמו צילום סיטונאי, זיהויי פנים ביומטריים, במרחב הציבורי?

נכון. זיהוי פנים בזמן אמת. יש ויכוחים גם בתוך הפרלמנט האירופי אז אני לא יודע על מה הצביעו בסוף בגרסה האחרונה אבל אכן, זאת אחת הטכנולוגיות שבסיכון גבוה. רציתי לחלוק אתכם שאנחנו כמובן מפרשים באופן שוטף את הדין הקיים בשים לב לסיכונים של בינה מלאכותית ולעקרונות של טיוטת המדיניות שהוזכרה כאן קודם, אבל במקביל אנחנו גם עובדים על מסמך שירכז את סוגיות הפרשנות של דיני הגנת הפרטיות הקיימים ביחס לסיכונים ולאתגרים המיוחדים של טכנולוגיית בינה מלאכותית.

לצד הפעילות הפרשנית הזאת ושיתוף פעולה עם גורמים אחרים, אנחנו כמובן מקווים שהליכי חקיקה לתיקון חוק הגנת הפרטיות שנמצאים עכשיו על שולחן הכנסת, תיקון 14 לחוק הגנת הפרטיות שעליו הוחל דין רציפות כולל עדכונים ושיפורים של החוק שיכולים לתת מענה טוב יותר, גם לטיפול ומתן מענה לאתגרים של בינה מלכותית מנקודת מבט של Data protection וגם יש עבודת מטה נוספת שעליה עובדים במשרד המשפטים יחד אתנו, תיקון נוסף, שמכונה תיקון 15, שאם הוא יתקדם ויחוקק גם הוא ייתן מענים טובים יותר לסוגיות שעומדות עכשיו על הפרק.

תודה רבה. אושר עשור, חברת Auren Israel, בבקשה.

קודם כל, תודה רבה לכל המכובדים ועל השיח. חשוב מאוד שתהיה ועדה כזו שנוגעת בטכנולוגיה משנת חיים לדעתי. דיברנו על ההזדמנויות ואני רוצה דווקא כן להציף את הסיכונים בנושא הפרטיות, כמו שנגע הבחור מהרשות להגנת הפרטיות. אנחנו מדברים פה על תהליכים קדימה, ועדה שתלך ויהיו עוד ועוד פגישות, אבל בינתיים המידע שלנו קצת מופקר בידי בינה מלאכותית, בידי חברות אזרחיות שכבר משתמשות בו. אם ניקח את השחקן המרכזי, openAI, שלא עומד כרגע בשום רגולציה וכולם משתמשים בו, אין משרד שלא משתמש בו, והזכירו פה חבריי שיש גם משרדים ממשלתיים שמתכוונים להשתמש בצ'אט GPT לטובת ייעול כל מיני תהליכים והמון מידע רגיש עולה אליו ואף אחד לא מתייחס לזה, זה קצת נעלם מהשטח. צריך לתת לזה מענה מידי, במקביל לתהליכים שאנחנו עושים כדי לפתח את החדשנות.

תודה רבה. דוד גולן, בבקשה.

תודה רבה ותודה על הדיון המעולה. שמי דוד גולן, ב-7 שנים האחרונות קמתי וניהלתי את חברת Viz.ai, חברת בינה מלאכותית בתחום הרפואה. אנחנו מזהים פתולוגיות, כגון שבץ, מסריקות CT ומתריעים לרופאים במטרה לאפשר טיפול מהיר ולהציל חיים של חולים, ולא רק שאנחנו מנסים, אנחנו גם מצליחים, המוצר שלנו פעיל במעל ל-1,400 בתי חולים ברחבי העולם, כולל בארץ, ומציל חיים על בסיס יומיומי, כך שבינה מלאכותית זה איך שאני מוצא את פרנסתי, גם בעולמות אפליקטיביים וגם עם המון-המון רגולציה.

אני מאוד התרשמתי מהעבודה שנעשתה וממה שהוצג פה, אני כן חייב להגיד משהו אחד, שיש בינה מלאכותית ויש בינה מלאכותית, ובשנה-חצי שנה האחרונות אנחנו רואים קצב התקדמות הרבה-הרבה יותר מהיר ואנחנו לא יכולים לשחק את המשחק של אתמול, אנחנו צריכים לשחק את המשחק של היום. מנהלים ומנהלות של חברות הייטק גדולות, מה שהם עושים היום כל היום זה לחשוב איך הם מטמיעים עוד ועוד כלי AI בתוך החברות שלהם, גם לפיתוח אבל גם במחלקות המשפטיות, מחלקות השיווק ומחלקות התמיכה. אנחנו רואים הגדלת יעילות והגדלת פריון של 30% עד 50% במחלקות שונות לאורך כל הארגונים כל הזמן.

ממשלות שלא יקפצו על העגלה ויעשו את זה פשוט יישארו מאחור. מה זה דורש מבחינתנו? המציאות השתנתה, זה דורש גם לשנות את סדרי העדיפויות. שני פערים מאוד גדולים: אחד מהם בצד של ה-NLP, הנגישות של כולנו לבינה המלאכותית היא חלקית בגלל שהיא עדיין לא מדברת עברית כמו שצריך וחייבים להגדיל את ההשקעה בזה ולהאיץ את לוחות הזמנים. הדבר השני הוא פשוט תמיכה. אנחנו מדברים פה על סכומים שנשמעים גדולים, 500 מיליון שקל, עוד 500 מיליון שקל, Viz זו חברת יוניקורן שגייסה 250 מיליון דולר עד היום לאפליקציה אחת בבתי חולים. צריך הרבה כסף לדברים האלה אבל הם מחזירים את עצמם עם המון-המון דיבידנדים.

הדבר האחרון שחשוב לי להגיד הוא שאי אפשר להתעלם מהפיל בחדר ולא משנה מה עמדתכם לגבי הרפורמה המשפטית. לא יכול להיות שכשהמציאות משתנה אנחנו מתעלמים מזה ולא יכול להיות שכשסם אלטמן, מנכ"ל החברה החשובה ביותר בתחום, מגיע לארץ הוא לא נפגש עם ראש הממשלה. לא משנה, צריך להיות צודקים ולא חכמים, לשים את זה בצד ולהתמקד באתגרים החשובים שפה היום, להסיט את המשאבים, תשומת הלב והכסף לטובת שדרוג של כל המדינה להפוך להיות מסטארט-אפ ניישן ל-AI Nation במובן האמיתי והמלא. תודה רבה.

תודה רבה. מסכימה עם כל מילה שלך ואתה יודע שאני גם בצוות של בית הנשיא ואין מישהי שרוצה יותר ממני שהדברים יגיעו לפתרון טוב. תודה על הדברים. אורלי אלידן הראל, חברת סרנוס, בבקשה.

שלום לכולם, שמי אורלי הראל, אני מנכ"לית ומייסדת של חברת סטארט-אפ בשם סרנוס AI שמתמחה בבינה מלאכותית לתחום הבריאות. החברה שלנו פיתחה מערכת ממוחשבת מבוססתGenerative AI עם פטנט רשום לצורך קבלת החלטות טיפוליות רפואיות מותאמות אישית ולצורך תעדוף תורים בבתי חולים. המערכת היא כלי מציל חיים מהמעלה הראשונה ובמקביל גם חוסכת למערכות בריאות משאבים כספיים יקרים שאפשר לנתב למטרות חשובות אחרות. הפתרון שלנו ופתרונות אחרים בתחום ה-AI בעולם הבריאות יכולים לשפר את טיב ואיכות השירותים הרפואיים שיינתנו לציבור הרחב ולקדם שוויון מהותי ע"י הטמעת סטנדרט רפואי אחיד על בסיס המחקרים והדאטה העדכניים ביותר.

בדיון החשוב הזה אני רוצה להתייחס למצב בשוק מזווית של התעשייה מכיוון שללא תעשייה ישראל תישאר בתחום מאחור. חיי היזמים והיזמיות בתחום ה-AI בישראל כיום מאתגרים, היקף ההשקעות בהייטק ברבעון הראשון של השנה ירד במעל 70% ביחס לשנה שעברה, ירידה חדה אל מול שאר העולם. רוב החברות החדשות מתאגדות מחוץ לישראל וחברות קיימות בוחנות העברה של הפעילות לחו"ל. חברות צעירות שהוקמו בשנים האחרונות לא מצליחות לגייס סבבים נוספים והן תסתגרנה. המשמעות היא שהקניין הרוחני כבר לא יהיה בישראל, שהחברות בתחום כבר לא יצמחו בישראל ולא יעסיקו עובדים ישראלים ושטובי המוחות והחוקרים ירצו גם הם לצאת מחוץ לישראל.

מדינות שונות בעולם מציעות תמריצים שונים לאנשי ההייטק ואילו בישראל אנו מוצאים את עצמנו במלחמה קיומית ומול קיצוצים ברשות החדשנות. אני פונה לממשלת ישראל מכאן, אנו במצב חירום, גנזו כל חקיקה קיצונית, תחזירו את הוודאות למשקיעים וליזמים, תקצו עוד משאבים לרשות החדשנות על מנת ליצור עוד תמריצים לפרויקטים בתחומי ה-AI. בואו נפעל ביחד לשיקום הנזקים לפני שיהיה מאוחר מדי. תודה.

תודה רבה. אנחנו נצטרך לצערי הרב לסיים. אני מסכמת את הדיון הזה קודם כל בהערכה מאוד מאוד גדולה לכל מי שהשתתף בדיון וגם נשאר עד סופו. אם אפשר לארוז את כל הדברים שנאמרו כאן זה שבעולם הטכנולוגיה והבינה המלאכותית אנחנו צופים במהפכה אמיתית, מהפכה של ממש שהולכת להשפיע על כל תחומי חיינו. ישראל נמצאת בתחרות בין-לאומית אדירה בתחום הזה ואני, ובשם הוועדה, קוראת לממשלה ללחוץ על הגז, נעשים דברים חשובים אבל צריך להעלות את הנושא הזה לסדר העדיפויות, את נושא הבינה המלאכותית ואנחנו נעקוב בנושא.

אני חושבת שהעובדה שדיון ראשון ויחיד מסוגו מתקיים בכנסת בנושא הזה אחרי שמונה חודשי כינונה של ממשלה זה דבר שאינו צריך להיות כך. אני חושבת שהממשלה חייבת לקחת את הדבר הזה ולהעלות אותו מאוד מאוד גבוה בראש סדר העדיפויות שלה. אני מברכת על העבודה המאוד חשובה שמתקדמת במשרדי הממשלה השונים. אני גם יודעת כמה היא מורכבת ואתם פוסעים במין ארץ לא זרועה, אבל הממשלה גם בעיניי חייבת לתת משאבים הולמים יותר לתוכנית הלאומית לבינה מלאכותית. הצטערתי לשמוע שהתקציב לפרויקטים לאומיים ירד. אני אשמח ופונה לוות"ת לשקול לעדכן ולייצר תוכנית חמש-שנתית עדכנית בנושא חיזוק האקדמיה בתחום הזה.

ישראל צריכה לחתור להיות מובילת AI, גם בהיבט האקדמי, גם בשווי השוק שהחברות הישראליות ייצרו בתחום, גם בהערכות שלה, בדיוק כפי שאמר כאן הפרופסור לגבי היערכות המדינה לשינויים שייערכו בכלכלה ובעולם התעסוקה שלה ובכלל. אין עוד טכנולוגיה שיכולה להשפיע על חיי הישראלים לטובה בתחום החינוך, הבריאות, המדע ותחומים אחרים מול הממשלה. אני קוראת להאיץ את התהליכים, על מוקד הידע, על צוות הרגולטורים, והכל בשיתוף פעולה מלא עם ענף ההייטק בישראל. שנתעסק בעבודה ונתעסק בישראל לפני הכול ולא בדברים אחרים. תודה רבה, מאוד מעריכה את השתתפותכם. ישיבה זו נעולה.


הישיבה ננעלה בשעה 14:35.