לחצו על התמונה למעלה כדי לצפות בסרטון של השיעור
בשיעור הקודם ראינו כיצד הבינה המולדת משנה את נוף הטכנולוגיה, כיצד דגמי שפה גדולים (LLM) פועלים ואיך עסק - כמו הסטארטאפ שלנו - יכול ליישם אותם במקרי השימוש שלו ולגדול! בפרק זה, נבחן להשוות ולבקר סוגים שונים של דגמי שפה גדולים (LLM) כדי להבין את היתרונות והחסרונות שלהם.
השלב הבא במסע הסטארטאפ שלנו הוא חקר הנוף הנוכחי של דגמי השפה הגדולים והבנת אלו מתאימים למקרי השימוש שלנו.
השיעור הזה יכסה:
- סוגים שונים של דגמי שפה גדולים בנוף הנוכחי.
- בדיקה, איטרציה והשוואה בין דגמים שונים למקרי השימוש שלך ב-Azure.
- איך לפרוס דגם שפה גדול.
לאחר סיום שיעור זה, תוכל:
- לבחור את הדגם הנכון למקרה השימוש שלך.
- להבין כיצד לבדוק, לאטראט ולשפר את ביצועי הדגם שלך.
- לדעת כיצד עסקים מפרסים דגמים.
לדגמי שפה גדולים (LLM) יש קטגוריות רבות בהתבסס על הארכיטקטורה שלהם, נתוני האימון ומקרי השימוש. הבנת ההבדלים האלה תסייע לסטארטאפ שלנו לבחור את הדגם הנכון לתרחיש, ולהבין כיצד לבדוק, לאטראט ולשפר ביצועים.
קיימים סוגים רבים של דגמי שפה גדולים, הבחירה בדגם תלויה במה שאתה שואף לעשות איתם, הנתונים שלך, כמה אתה מוכן לשלם ועוד.
בהתאם אם אתה מתכוון להשתמש בדגמים לייצור טקסט, שמע, וידאו, תמונות וכדומה, ייתכן שתבחר סוג דגם שונה.
-
זיהוי דיבור ושמע. דגמי Whisper עדיין שימושיים כדגמי זיהוי דיבור כלליים, אך אפשרויות הפקה כוללות גם דגמי דיבור לטקסט חדשים כמו
gpt-4o-transcribe,gpt-4o-mini-transcribeוגרסאות דיאריזציה. יש להעריך כיסוי שפה, דיאריזציה, תמיכה בזמן אמת, השהיה ועלות עבור התרחיש שלך. למידע נוסף ראו את תיעוד זיהוי דיבור לכתיבה של OpenAI. -
ייצור תמונות. DALL-E ו-Midjourney הן אפשרויות ידועות לייצור תמונות, אך ממשקי ה-API הנוכחיים של OpenAI ממוקדים בדגמי תמונה של GPT כגון
gpt-image-2, בעוד ש-Stable Diffusion, Imagen, Flux, ומשפחות דגמים אחרות הן גם אפשרויות נפוצות. השווה עמידה בבקשות, תמיכת עריכה, שליטה בסגנון, דרישות בטיחות ורישוי. למידע נוסף ראו את מדריך ייצור תמונות של OpenAI ופרק 9 בתוכנית הלימודים הזו. -
ייצור טקסט. דגמי טקסט כיום כוללים דגמי קצה, דגמי הסקה, דגמים קטנים עם השהיה נמוכה, ודגמים פתוחים. דוגמאות כעת כוללות דגמי OpenAI GPT-5.x, דגמי Anthropic Claude 4.x, דגמי Google Gemini 3.x, דגמי Meta Llama 4, ודגמי Mistral. אל תבחר רק לפי תאריך שחרור או מחיר; השווה איכות משימה, השהיה, חלון הקשר, שימוש בכלים, התנהגות בטיחותית, זמינות אזורית, ועלות כוללת. קטלוג דגמי Microsoft Foundry הוא מקום טוב להשוות דגמים זמינים ב-Azure.
-
ריבוי מודאליות. רבים מהדגמים הנוכחיים מסוגלים לעבד יותר מטקסט. חלק מקבלים קלטי תמונה, שמע או וידאו; חלק יכולים לקרוא לכלים; ודגמים מיוחדים יכולים ליצור תמונות, שמע או וידאו. לדוגמה, דגמי OpenAI נוכחיים תומכים בקלט טקסט ותמונה, דגמי Gemini יכולים לתמוך בקלט טקסט, קוד, תמונה, שמע ווידאו בהתאם לגרסה, ו-Llama 4 Scout ו-Maverick הם דגמים רב-מודאליים פתוחים. תמיד בדוק כל כרטיס דגם לגבי המודאליות הנתמכות בקלט ובפלט לפני בניית זרימת עבודה סביבו.
בחירת דגם אומרת שתקבל יכולות בסיסיות, שלעיתים לא יספיקו. לעיתים קרובות יש לך נתונים ספציפיים לחברה שעליך להעביר ל-LLM. קיימות כמה אפשרויות לגישה אליהן, נדון בהן בסעיפים הקרובים.
המונח דגם יסוד (Foundation Model) הוטבע על ידי חוקרים מאוניברסיטת סטנפורד והוגדר כדגם בינה מלאכותית שעומד בקריטריונים מסוימים, כגון:
- מאומנים באמצעות למידה לא מופרכת או למידה עצמית מונחית, כלומר הם מאומנים על נתונים רב-מודאליים ללא תיוג, ואין צורך באנוטציה או תיוג ידני של הנתונים בתהליך האימון שלהם.
- הם דגמים גדולים מאוד, מבוססי רשתות ניורונים עמוקות מאוד שאומנו על מיליארדי פרמטרים.
- הם מיועדים בדרך כלל לשמש כ'יסוד' לדגמים אחרים, כלומר הם יכולים לשמש כנקודת התחלה לדגמים נוספים שנבנים על בסיסם, דבר שמתבצע באמצעות כוונון עדין (fine-tuning).
מקור התמונה: מדריך חשוב לדגמי יסוד ולדגמי שפה גדולים | מאת בבר מ בטאטי | Medium
להבהרה נוספת של ההבדל הזה, ניקח כדוגמה היסטורית את ChatGPT. גרסאות מוקדמות של ChatGPT השתמשו ב-GPT-3.5 כדגם יסוד. לאחר מכן OpenAI השתמשה בנתונים ושיטות יישור שיחה ליצירת גרסה מכוונת שהציגה ביצועים משופרים בתרחישי שיחה, כמו בצ'אטבוטים. שירותי בינה מודרניים לעיתים מורמים בין כמה גרסאות דגם, ולכן שם השירות ושם הדגם הבסיסי אינם תמיד אותו הדבר.
מקור התמונה: 2108.07258.pdf (arxiv.org)
דרך נוספת לסווג דגמי שפה גדולים היא האם הם דגמי משקל פתוח, קוד פתוח, או קנייניים.
דגמים בקוד פתוח ודגמי משקל פתוח מאפשרים גישה לממצאי הדגם, הורדה או התאמה, אך הרישיונות שלהם שונים. חלקם הם קוד פתוח מלא, ואחרים דגמי משקל פתוח עם הגבלות שימוש. הם שימושיים כאשר עסק זקוק לשליטה רבה יותר בפריסה, מיקום נתונים, עלות או התאמה. עם זאת, צוותים צריכים לבחון תנאי רישיון, עלויות שרת, תחזוקה, עדכוני אבטחה ואיכות הערכה לפני השימוש בייצור. דוגמאות כוללות Meta Llama 4, כמה דגמי Mistral, ורבים מדגמי Hugging Face.
דגמים קנייניים הם בבעלות ומאוחסנים אצל ספק שירות. דגמים אלו לרוב מותאמים לשימוש ייצור מנוהל ויכולים להציע תמיכה חזקה, מערכות בטיחות, אינטגרציה עם כלים וקנה מידה. עם זאת, לקוחות בדרך כלל אינם יכולים לבדוק או לשנות את משקלות הדגם, והם צריכים לבחון את תנאי הספק לגבי פרטיות, שמירה, תאימות ושימוש מקובל. דוגמאות לכך הן דגמי OpenAI, Google Gemini, ו-Anthropic Claude.
ניתן גם לסווג דגמי שפה גדולים לפי הפלט שהם מייצרים.
הטמעות הן קבוצת דגמים שיכולים להמיר טקסט לצורה מספרית, הנקראת הטמעה, שהיא ייצוג מספרי של הטקסט הקלט. הטמעות מאפשרות למכונות להבין טוב יותר את הקשרים בין מילים או משפטים ויכולות לשמש כקלטים לדגמים אחרים, כדגמי סיווג או דגמי קיבוץ עם ביצועים טובים יותר על נתונים מספריים. דגמי הטמעה משמשים לעיתים ללמידת העברה, שבה דגם נבנה למשימה סורוגטית שיש לה שפע נתונים, ואז משקלות הדגם (הטמעות) משמשות למשימות אחרות בהמשך. דוגמה לקטגוריה זו היא OpenAI embeddings.
דגמי יצירת תמונות הם דגמים שיוצרים תמונות. דגמים אלה משמשים לעיתים לעריכת תמונות, סינתזת תמונות ותרגום תמונות. דגמי יצירת תמונות מאומנים לעיתים על מסדי נתונים גדולים של תמונות, כגון LAION-5B, ויכולים לשמש יצירת תמונות חדשות או לעצב תמונות קיימות עם טכניקות למלאכת צביעה (inpainting), רזולוציה גבוהה וצביעה. דוגמאות כוללות דגמי GPT Image, דגמי Stable Diffusion, ודגמי Imagen.
דגמי יצירת טקסט וקוד הם דגמים שיוצרים טקסט או קוד. דגמים אלה משמשים לעיתים לסיכום טקסט, תרגום וענה על שאלות. דגמי יצירת טקסט מאומנים לעיתים על מאגרי טקסט גדולים, כגון BookCorpus, ויכולים לשמש ליצירת טקסט חדש או לענות על שאלות. דגמי יצירת קוד, כמו CodeParrot, מאומנים על מאגרי נתוני קוד גדולים, כגון GitHub, ויכולים לשמש ליצירת קוד חדש או לתיקון באגים בקוד קיים.
כדי לדבר על סוגי הארכיטקטורות השונות של דגמי שפה גדולים, נשתמש באנלוגיה.
דמיין שמנהלך נתן לך משימה לכתוב חידון לתלמידים. יש לך שני עמיתים לעבודה; אחד מפקח על יצירת התוכן והשני מפקח על ביקורת התוכן.
יוצר התוכן דומה למודל מפענח בלבד: הוא יכול להסתכל על הנושא, לראות מה כבר כתבת, ואז להמשיך ליצור תוכן בהתבסס על ההקשר הזה. הם טובים מאוד בכתיבת תוכן מושך ומידע, אך אינם הבחירה הטובה ביותר כשמדובר לסווג, לאחזר או לקודד מידע. דוגמאות למשפחות דגמי מפענח בלבד כוללות את דגמי GPT ו-Llama.
המבקר דומה למודל מקודד בלבד, הוא מסתכל על הקורס הכתוב והתשובות, מבחין בקשר בינהם ומבין את ההקשר, אך אינו טוב ביצירת תוכן. דוגמה למודל מקודד בלבד היא BERT.
דמיין שגם נוכל שיהיה מישהו שיוכל ליצור ולהעיר על החידון, זהו מודל מקודד-מפענח. דוגמאות לכך הן BART ו-T5.
כעת, נדבר על ההבדל בין שירות ודגם. שירות הוא מוצר המוצע על ידי ספק שירות ענן, ולעיתים הוא שילוב של דגמים, נתונים ורכיבים אחרים. דגם הוא הרכיב המרכזי של שירות, ולעיתים הוא דגם יסוד, כמו LLM.
שירותים מותאמים לרוב לשימוש ייצור ונוחים יותר לשימוש מאשר דגמים, דרך ממשק משתמש גרפי. עם זאת, שירותים אינם תמיד בחינם, ועלולים לדרוש מנוי או תשלום לשימוש, בתמורה לניצול הציוד והמשאבים של בעל השירות, מיטוב הוצאות וקנה מידה נוח. דוגמה לשירות היא Azure OpenAI Service, שמציע תכנית תשלום בתשלום לפי שימוש, כלומר משתמשים מחויבים בהתאם לכמות השימוש בשירות. Azure OpenAI Service מציע גם אבטחת מוסד ו-framework של בינה מלאכותית אחראית על בסיס יכולות הדגמים.
דגמים הם חפצי הרשת הנוירונית: פרמטרים, משקלים, ארכיטקטורה, טוקניזר ותצורה תומכת. הרצת דגם מקומית או בסביבה פרטית דורשת חומרה מתאימה, תשתית לאירוח, ניטור, ורישיון תואם קוד פתוח/משקל פתוח או רישיון מסחרי. דגמי משקל פתוח כגון Llama 4 או דגמי Mistral יכולים להיות מתאחסנים באופן עצמאי, אך עדיין דורשים כוח חישוב ומומחיות תפעולית.
ברגע שהצוות שלנו חקר את הנוף הנוכחי של מודלים גדולים של שפה וזיהה כמה מועמדים טובים לתרחישים שלהם, השלב הבא הוא לבדוק אותם על הנתונים שלהם ועל עומס העבודה שלהם. זהו תהליך איטרטיבי, המתבצע על ידי ניסויים ומדידות. רוב המודלים שהזכרנו בפסקאות הקודמות (מודלים של OpenAI, מודלים במשקל פתוח כמו Llama 4 ו-Mistral, ומודלים מ-Hugging Face) זמינים ב-Microsoft Foundry Models.
Microsoft Foundry, שבעבר נקרא Azure AI Studio/Azure AI Foundry, היא פלטפורמת Azure אחודה לבניית אפליקציות וסוכני בינה מלאכותית. היא מסייעת למפתחים לנהל את מחזור החיים מהניסוי וההערכה ועד לפריסה, ניטור וממשל. קטלוג המודלים ב-Microsoft Foundry מאפשר למשתמש:
- למצוא את מודל היסוד המעניין בקטלוג, כולל מודלים שנמכרים על ידי Azure ומודלים של שותפים וספקי קהילה. המשתמשים יכולים לסנן לפי משימה, ספק, רישיון, אפשרות פריסה או שם.
- לעיין בכרטיס המודל, כולל תיאור מפורט של השימוש המיועד ונתוני האימון, דוגמאות קוד ותוצאות הערכה מספריית ההערכות הפנימית.
- להשוות בין נקודות ייחוס בין מודלים וסטים של נתונים הזמינים בתעשייה כדי להעריך איזה מהם מתאים לתרחיש העסקי, דרך הפאנל Model Benchmarks.
- לבצע כיוונון עדין למודלים הנתמכים על נתוני אימון מותאמים לשיפור ביצועי המודל בעומס עבודה ספציפי, תוך שימוש ביכולות הניסוי והמעקב של Microsoft Foundry.
- לפרוס את המודל המאומן מראש המקורי או את הגרסה המכווננת לנקודת הסקת מסקנות מרוחקת בזמן אמת, בשימוש באפשרויות פריסה מנוהלות או ללא שרתים, כדי לאפשר לאפליקציות לצרוך אותו.
Note
לא כל המודלים בקטלוג זמינים כיום לכיוונון עדין ו/או לפריסה בתשלום לפי שימוש. בדקו את כרטיס המודל לפרטים על היכולות והמגבלות של המודל.
חקרנו עם צוות הסטארטאפ שלנו סוגים שונים של מודלים גדולים של שפה ופלטפורמת ענן (Microsoft Foundry) שמאפשרת לנו להשוות בין מודלים שונים, להעריך אותם על נתוני בדיקה, לשפר ביצועים ולפרוס אותם לנקודות סקת מסקנות.
אך מתי כדאי לשקול כיוונון עדין למודל במקום להשתמש במודל מאומן מראש? האם קיימות גישות נוספות לשיפור ביצועי המודל בעומסים ספציפיים?
ישנן מספר גישות שעסק יכול להשתמש בהן כדי לקבל את התוצאות שהוא צריך ממודל שפה גדול. ניתן לבחור סוגים שונים של מודלים עם דרגות אימון שונות בעת פריסת מודל LLM בפרודקשן, עם רמות שונות של מורכבות, עלות ואיכות. הנה כמה גישות שונות:
-
הנדסת פרומפט עם הקשר. הרעיון הוא לספק הקשר מספק כאשר מזינים את הפרומפט כדי להבטיח קבלת התגובות הנדרשות.
-
Retrieval Augmented Generation, RAG. הנתונים שלך עשויים להתקיים במסד נתונים או בנקודת גישה באינטרנט למשל, כדי להבטיח שהנתונים הללו, או תת-קבוצה שלהם, ייכללו בזמן הפעלת הפרומפט, ניתן לשלוף את הנתונים הרלוונטיים ולשלבם כחלק מהפרומפט של המשתמש.
-
מודל מכוונן עדין. כאן, אימנת את המודל נוסף על הנתונים שלך, מה שהוביל לכך שהמודל מדויק וענייני יותר לצרכים שלך אך עשוי להיות יקר.
מקור התמונה: Four Ways that Enterprises Deploy LLMs | Fiddler AI Blog
מודלים מאומנים מראש של LLM עובדים מצוין במשימות שפה טבעית כלליות, אפילו בהפעלה עם פרומפט קצר, כמו משפט שיש להשלים או שאלה – הלמידה הנקראת "אפס-הדגמות" (zero-shot).
עם זאת, ככל שהמשתמש מסוגל למסגר את שאלתו, עם בקשה מפורטת ודוגמאות – ההקשר – התשובה תהיה מדויקת יותר וקרובה יותר לציפיות המשתמש. במקרה זה, מדברים על "למידה עם הדגמה אחת" אם הפרומפט כולל רק דוגמה אחת ו"למידה עם כמה הדגמות" אם הוא כולל דוגמאות מרובות. הנדסת פרומפט עם הקשר היא הגישה היעילה ביותר מבחינת עלות כדי להתחיל איתה.
ל-LLM יש מגבלה שהם יכולים להשתמש רק בנתונים ששימשו במהלך האימון שלהם כדי לייצר תשובה. משמעות הדבר היא שהם אינם יודעים דבר על עובדות שקרו אחרי תהליך האימון שלהם, ואינם יכולים לגשת למידע שאינו ציבורי (כמו נתוני חברה). ניתן להתגבר על זה באמצעות RAG, טכניקה שמוסיפה לפרומפט נתונים חיצוניים בצורת חתיכות של מסמכים, תוך התחשבות במגבלות אורך הפרומפט. טכניקה זו נתמכת על ידי כלי מסדי נתונים וקטוריים (כמו Azure Vector Search) שמחלצים את החתיכות השימושיות ממקורות נתונים מוגדרים מראש ומוסיפים אותן להקשר הפרומפט.
טכניקה זו מאוד מועילה כאשר לעסקים אין מספיק נתונים, זמן או משאבים לכיוונון עדין של LLM, אך הם רוצים לשפר ביצועים בעומס עבודה ספציפי ולהפחית סיכונים של תשובות מופרכות, מיושנות או לא נתמכות.
כיוונון עדין הוא תהליך המנצל למידה מועברת כדי 'להתאים' את המודל למשימה משנית או כדי לפתור בעיה ספציפית. בשונה מלמידה עם כמה הדגמות ו-RAG, הוא מוביל ליצירת מודל חדש, עם משקלים ונטיות מעודכנים. זה דורש מערך דוגמאות אימון הכולל קלט יחיד (הפרומפט) ופלט משויך (ההשלמה). זה יהיה הגישה המועדפת אם:
-
שימוש במודלים קטנים יותר המיועדים למשימות ספציפיות. עסק יעדיף לכוונן מודל קטן יותר למשימה צרה במקום להפעיל repeatedly trigger מודל גדול יותר ויקר יותר, מה שמוביל לפתרון חסכוני ומהיר יותר.
-
התחשבות בהשהיה. השהיה חשובה למקרה שימוש מסוים, לכן אי אפשר להשתמש בפרומפטים ארוכים מדי או בכמות הדוגמאות שכדאי ללמוד מהן שאינה מתאימה למגבלת אורך הפרומפט.
-
התאמת התנהגות יציבה. לעסק יש דוגמאות רבות ואיכותיות והוא רוצה שהמודל יעקוב בעקביות אחרי דפוס משימה, פורמט פלט, טון או סגנון תחום ספציפי. אם הבעיה העיקרית היא עובדות עדכניות או ידע פרטי שמשתנה לעיתים קרובות, עדיף להשתמש ב-RAG במקום להסתמך רק על כיוונון עדין.
אימון מודל LLM מאפס הוא ללא ספק הגישה המאתגרת והמורכבת ביותר לאימוץ, ודורש כמויות עצומות של נתונים, משאבים מיומנים וכוח מחשוב מתאים. אפשרות זו צריכה להילקח בחשבון רק בתרחיש שבו יש לעסק מקרה שימוש ספציפי לתחום וכמות גדולה של נתונים ממוקדי תחום.
מה יכולה להיות גישה טובה לשיפור תוצאות השלמת טקסט של LLM?
- הנדסת פרומפט עם הקשר
- RAG
- מודל מכוונן עדין
תשובה: שלוש האפשרויות יכולות לעזור. התחילו עם הנדסת פרומפט והקשר לשיפורים מהירים, והשתמשו ב-RAG כאשר המודל זקוק לעובדות עדכניות או לנתוני עסק פרטיים. בחרו בכיוונון עדין כאשר יש לכם מספיק דוגמאות איכותיות ואתם זקוקים שהמודל יעקוב בעקביות אחרי משימה, פורמט, טון או דפוס תחום.
קראו עוד כיצד ניתן להשתמש ב-RAG עבור העסק שלכם.
לאחר שסיימתם את השיעור הזה, בדקו את אוסף הלמידה של בינה מלאכותית יצירתית שלנו כדי להמשיך ולשפר את הידע שלכם בבינה מלאכותית יצירתית!
עברו לשיעור 3 בו נבחן כיצד לבנות בבינה מלאכותית יצירתית באחריות!
כתב ויתור: מסמך זה תורגם באמצעות שירות תרגום אוטומטי Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. יש להחשיב את המסמך המקורי בשפתו הטבעית כמקור הסמכות. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אדם. אנו לא אחראים לכל אי-הבנה או פירוש שגוי הנובע מהשימוש בתרגום זה.