מחקר של SE Ranking: קובץ llms.txt לא משפיע על הציטוטים של האתר שלכם ב-AI
בבדיקה של כמעט 300 אלף דומיינים לא נמצא קשר בין קובץ llms.txt לבין התדירות שבה מודלי שפה מצטטים אתר. גם Google כותבת שאין צורך בקבצים מיוחדים כדי להופיע ב-AI Overviews.
TL;DR בקצרה
- רק כ-10% מכמעט 300 אלף הדומיינים שנבדקו מחזיקים קובץ llms.txt, והשיעור כמעט זהה באתרים קטנים וגדולים.
- לא נמצא מתאם בין הקובץ לבין ציטוטים במודלי שפה, והוצאתו מהמודל הסטטיסטי אף שיפרה את הדיוק.
- Google כותבת בתיעוד שלה שאין צורך בקבצי טקסט ייעודיים ל-AI כדי להופיע ב-AI Overviews וב-AI Mode.
- ההמלצה: לבדוק robots.txt, מפת אתר ואינדוקס, ולהתייחס ל-llms.txt כניסוי לא מחייב.
בשנה האחרונה llms.txt הפך לסעיף קבוע ברשימות של ״איך להופיע ב-ChatGPT״, ולא מעט אתרים הוסיפו אותו ליתר ביטחון. מחקר ש-SE Ranking פרסמה בבלוג שלה ב-15 באוקטובר מצנן את ההתלהבות: בבדיקה של כמעט 300 אלף דומיינים לא נמצא שום קשר בין קיום הקובץ לבין התדירות שבה מודלי שפה מצטטים את האתר. יותר מזה, כשהחוקרים הוציאו את הנתון הזה מהמודל הסטטיסטי שלהם, התחזיות דווקא השתפרו.
מה זה llms.txt, ולמה כולם דיברו עליו
llms.txt הוא קובץ טקסט שמוצב בשורש האתר ואמור לשמש מעין מפת אתר למודלי AI: להפנות אותם לעמודים החשובים, ולפעמים גם לפרט תנאי שימוש בתוכן. הרעיון עלה לדיון באמצע 2024, אבל הוא נשאר הצעה ולא תקן רשמי. אף אחת מפלטפורמות ה-AI הגדולות לא אישרה שהיא משתמשת בו לדירוג או לציטוט. לפי SE Ranking, ביומני שרת רואים לפעמים את GPTBot של OpenAI ניגש לקובץ, אבל לא לעתים קרובות.
מה המחקר מצא
רק 10.13% מהדומיינים שנבדקו מחזיקים קובץ llms.txt, כלומר כתשעה מכל עשרה אתרים לא טרחו להוסיף אותו. השיעור כמעט אחיד בכל רמות התנועה: 9.88% באתרים עם עד 100 ביקורים, 10.54% באתרים עם 1,001 עד 5,000 ביקורים, ו-8.27% בלבד באתרים עם יותר מ-100 אלף ביקורים. במילים אחרות, האתרים הגדולים לא ממהרים לאמץ את הקובץ, ואפילו משתמשים בו קצת פחות מהבינוניים.
כדי לבדוק את הקשר לציטוטים, החוקרים השוו את תדירות הציטוט של כל דומיין בתשובות של מודלי שפה מול כמה משתנים, ובהם רמת התנועה וקיום הקובץ. הם השתמשו במבחן מתאם (Spearman), במודל למידת מכונה מסוג XGBoost, שמנבא תוצאה לפי שקלול של גורמים רבים, ובניתוח SHAP, שמראה כמה כל גורם תורם לתחזית. התוצאה: אין מתאם, וכשהוציאו את llms.txt מהמודל, הוא נעשה מדויק ואמין יותר בנתוני הבדיקה. המסקנה של החוקרים היא שהקובץ מוסיף רעש ולא מידע, לפחות בינתיים.
למחקר יש גם מגבלות שכדאי להכיר. SE Ranking לא פירטה אילו מודלי שפה נדגמו, והחוקרים עצמם מציינים שהתוצאות תקפות למודל ולנתונים שלהם ועשויות להשתנות אם יתווספו גורמים. בנוסף, הממצאים לא חדשים לגמרי: Search Engine Journal דיווח על אותם נתונים כבר בנובמבר 2025, והגרסה שפורסמה עכשיו לא מסומנת כעדכון. מה שהשתנה מאז הוא ש-Google אומרת היום את אותו הדבר, ובמפורש.
גם ב-Google אומרים: אין צורך
בדף ההנחיות של Google על תכונות ה-AI בחיפוש כתוב: ״אין צורך ליצור קבצים חדשים שמיועדים למכונות, קבצי טקסט ל-AI או סימון מיוחד כדי להופיע בתכונות האלה״. לפי Google, הדרישות להופעה ב-AI Overviews וב-AI Mode זהות לדרישות הרגילות: העמוד צריך להיות מאונדקס וזכאי להופיע בתוצאות עם קטע תיאור (snippet). גם נתונים מובנים מיוחדים לא נדרשים.
ג׳ון מולר מ-Google חזר על המסר כמה פעמים השנה. ביוני כתב ב-Reddit שהשימוש בקובץ הוא בגדר ספקולציה בלבד ושאף שירות AI לא הודיע שהוא משתמש בו, ובעבר השווה אותו לתגית meta keywords הישנה, שבה בעל האתר פשוט מצהיר על מה האתר שלו. בפרק של הפודקאסט Search Off the Record מ-1 באוקטובר, שעסק במפות אתר, סיפר מולר שביומני השרת שלו הוא רואה סורקי AI ניגשים דווקא לקובץ ה-sitemap ולפידי ה-RSS. לדבריו, llms.txt לא יכול להחליף מפת אתר, כי חסר לו הפורמט המדויק שהמערכות צריכות, והציפיות ממנו גדולות מהמציאות.
מה זה אומר עבורכם
- אל תשקיעו בזה תקציב: אם כבר יש לכם llms.txt, אין סיבה למחוק אותו, הוא לא מזיק. אבל אם מישהו מציע לכם חבילת אופטימיזציה ל-AI שזה הרכיב המרכזי בה, שאלו מה עוד היא כוללת.
- בדקו את robots.txt: ודאו שאתם לא חוסמים בטעות את Googlebot או את OAI-SearchBot של OpenAI, שהחברה ממליצה לאפשר. llms.txt לא גובר על הכללים ב-robots.txt.
- בדקו גם את ה-CDN וחומת האש: Google ממליצה לוודא שגם ספק האחסון או ה-CDN מאפשרים סריקה. כאן מתחבאות לא מעט חסימות שאף אחד לא שם לב אליהן.
- מפת אתר ו-RSS במקום הסטנדרטי: לפי מולר, סורקי AI בדרך כלל לא מאפשרים להגיש מפת אתר, ולכן כדאי להשאיר אותה בכתובת sitemap.xml הרגילה ולקשר לפיד ה-RSS מתוך ה-head של העמודים.
- תוכן כטקסט, קישורים פנימיים ואינדוקס: אלה הדברים שמשפיעים בפועל. הריצו סריקה טכנית ובדקו שהעמודים החשובים שלכם נגישים, מחזירים קוד 200, מאונדקסים ומקושרים מעמודים אחרים באתר.
מה הלאה
ייתכן שבעתיד אחת מפלטפורמות ה-AI תאמץ את llms.txt או תקן אחר, ואז התמונה תשתנה. עד אז, הדרך הטובה ביותר לדעת אם האתר שלכם מצוטט היא לבדוק ישירות: לשאול את ChatGPT, את Perplexity ואת AI Mode את השאלות החשובות לעסק שלכם, ולתעד אילו מקורות הם מביאים ואיך זה משתנה לאורך זמן.
מקורות והרחבה
- Does LLMs.txt impact your AI visibility and citations? No, according to researchSE Ranking
- AI features and your websiteGoogle Search Central
- Google's Mueller Says AI Crawlers Access Sitemaps, RSS In His LogsSearch Engine Journal
- Google's John Mueller: llms.txt is speculative, WebMCP and AI agentsTechWyse
- LLMs.txt Shows No Clear Effect On AI Citations, Based On 300k DomainsSearch Engine Journal
הכתבה נכתבה במקור בעברית על ידי מערכת GEEKLIK, על בסיס המקורות שלמעלה ובדיקת העובדות מולם.
מצאתם טעות? דווחו לנו
