חדשות מג'נטו

מג'נטו - תקצוב זחלנים לשיפור SEO

כולנו מכירים את המושגים סורקי אינטרנט, זחלנים ו- Googlebot, אבל לסורקים הללו יש מגבלות על מה שהם יכולים ומה שהם לא יכולים לסרוק באתר מג'נטו. במאמר זה נדון בתקצוב זחלנים לצורך שיפור SEO (אופטימיזציה למנועי חיפוש) באתר מג'נטו.

תקציב זחלנים הוא מספר הדפים ש- Googlebot (וסורקים אחרים של מנועי חיפוש) יכולים לסרוק בפרק זמן נתון. ניהול תקציב הסריקה של אתר מג'נטו יכול לתמוך באינדוקס הכולל של האתר. יש לזכור כי כדי ש- Googlebot יסרוק את אתר מג'נטו, יש לוודא שהוא מורשה לסרוק בקובץ Robots.txt של האתר. אמנם זה נדיר שגוגל סורק ומוסיף כל עמוד באתר מג'נטו לאינדקס תוצאות החיפש, אבל אנחנו רוצים לוודא שכל הדפים החשובים שלנו מתווספים לאינדקס ויכולים להופיע ב- SERPs. למרבה הצער, אין לנו שליטה של 100% על הדפים שגוגל סורק. גוגל מזהה אילו דפים הם החשובים ביותר ומאנדקס אותם לפי עדיפות. חלק מהגורמים המשפיעים על כך הם מבנה הקישורים הפנימיים ומפות אתר מג'נטו מסוג XML.

דרך קלה להבין את תקציב סריקת SEO היא באמצעות שתי הדוגמאות הבאות:

עסק קטן: עסק קטן המוכר צמחים שהינו בעלי אתר הכולל 100 דפים ותקציב סריקה של 1,000 דפים (כלומר שעדיין אפשר לעמוד בתקציב הסריקה אם יוצרים 900 דפים חדשים), עדיין יכול לייעל את תקציב הסריקה ליעילות מוגברת ולהיות מוכן אם כמות הדפים הכוללת תעלה אי פעם על תקציב הסריקה הנוכחי.

מסחר אלקטרוני: עסק מסחר אלקטרוני בינלאומי הפועל באמצעות אתר חנות מג'נטו שבו קיימים 100,000 דפים ותקציב סריקה של 90,000 דפים. במקרה זה הבעיה טמונה בתקציב הסריקה מכיוון שישנם 10,000 דפים שלא ייסרקו או יתווספו לאינדקס. בעוד שלחלק מהדפים הללו יכול להיות תג noindex, עדיין עלולים לאבד את הנראות בדפי התוצאות של מנועי החיפוש (SERP).

מהו קצב סריקה? Google Search Console מגדיר את קצב הסריקה כ"כמה בקשות בשנייה שולח Googlebot לאתר מג'נטו כשהוא סורק אותו: לדוגמה, 5 בקשות לשנייה". אמנם לא ניתן להגדיל את מספר הבקשות לשנייה ש- Googlebot מבצע בעת סריקתו, אך ניתן להגביל זאת, במידת הצורך. אפשר גם לבקש מ- Google לסרוק מחדש דף באתר מג'נטו ממספר סיבות: הדף חדש ועדיין לא נסרק, התוכן או המטא נתונים בדף עודכנו, הדף לא הוכנס לאינדקס כהלכה במהלך הסריקה האחרונה.

כיצד אפשר לבדוק אם דף באתר מג'נטו נסרק? כדי לבדוק מתי הדף נסרק לאחרונה, יש לעבור אל Google Search Console. לאחר ניווט לנכס המתאים, רושמים את כתובת אתר מג'נטו בשורת החיפוש בראש הדף. לאחר מכן, תתקבל הפנייה לבדיקת כתובות אתרים שעוזרת להבין מתי הדף נסרק, מה הייתה כתובת האתר המפנה וכן, כל בעיה שהתעוררה במהלך האינדוקס. במסגרת בדיקת כתובת האתר, Google Search Console יציין אם כתובת האתר נמצאת באינדקס של Google. אם הכתובת לא אונדקסה הדבר יכול להעיד על מגוון בעיות שצריך לבדוק כמו למשל זה יכול להיות פשוט כמו דף שעדיין לא נסרק / אונדקס, או יכול להיות חמור כמו בעיה בקובץ Robots.txt. קיימת אפשרות גם לראות כיצד הדף נצפה על ידי Googlebot על ידי שימוש בתכונת "בדיקת כתובת אתר חיה". חשוב לזכור כי אמנם אפשר לבקש מגוגל לסרוק מחדש דף, אך בקשת הוספה לאינדקס מספר פעמים אינה מעניקה עדיפות לסריקת הדף.

היכן ניתן למצוא את תקציב הסריקה של אתר מג'נטו? ישנם מספר כלים מועילים שבהם אפשר להשתמש כדי ללמוד עוד על סטטיסטיקת הסריקה של אתר מג'נטו או לראות כמה דפים באתר סורק Google בכל יום. בתוך Google Search Console, יש לנווט אל נכס הדומיין > הגדרות > סטטיסטיקות סריקה. כאן אפשר לבחון את מספר בקשות הסריקה, זמן ההורדה וזמני תגובה ממוצעים של הדף. דוח סטטיסטיקות סריקה זה יכול להיות מועיל בעת ביצוע אופטימיזציה של תקציב הסריקה. יחד עם זאת, ניתן לסקור את יומני שרת אחסון מג'נטו כדי לראות בדיוק מה Googlebot סורק.

מדוע תקצוב זחלנים חשוב לקידום אתרים? לאחר שזיהינו את היסודות ותארנו היכן לבדוק סטטוסי סריקה, נבין כיצד זה חשוב לקידום אתרים: כאשר אנו יוצרים באתר מג'נטו דף חדש או מעדכנים דף ישן, אנו רוצים שאנשים יראו אותו. בין אם המשתמש הוא מישהו שמתכנן לקנות אופניים מותאמים אישית, או אדם המחפש תכנית לימודים להרשמה, אנו רוצים שהדפים הללו יהיו נגישים למשתמשים, רצוי בעמוד הראשון של מנוע החיפוש. אם תקציב הסריקה שלנו מכסה רק 50% מהאתר שלנו (למשל 100,000 דפים מתוכם 50,000 הוקצו בתקציב הסריקה), 50% מהאתר שלנו לא יהיה ניתן לגילוי בתוצאות החיפוש. אולי מישהו יוכל למצוא את כתובת האתר על ידי הקלדת מילה במילה, אבל זה לא תמיד המקרה - ולמען האמת, זה לא סיכון שאנשי קידום אתרים מוכנים לקחת.

כיצד לייעל את תקציב הסריקה של אתר מג'נטו? אופטימיזציה של תקציב הסריקה אינה משימה של יום אחד: שיפור מהירות האתר, ניהול קישורים פנימיים, הימנעות מתוכן כפול. מהירות האתר חשובה ממגוון סיבות. אנחנו רוצים שדפים ייטענו מהר עבור המשתמשים כדי שיתקשרו עם האתר, אבל אנחנו גם רוצים שזה יהיה מהיר כדי ש- Googlebot יוכל לסרוק את התוכן שלנו במהירות האפשרית. אנחנו רוצים להימנע מזמן טעינה ארוך מכיוון שככל שהדפים שלנו נטענים מהר יותר, כך Googlebot יכול לסרוק ולאנדקס את הדפים שלנו מהר יותר. קישורים פנימיים וחיצוניים הם חלק מרכזי בכל אסטרטגיית SEO. קישורים פנימיים, שהם קישורים המפנים לדפים שונים באותו תחום, חשובים הן לחוויית המשתמש והן למבנה האתר. לדוגמא, אם בלוג א' כולל תג DO-FOLLOW, GoogleBot יכול לגשת לקישור הפנימי וינווט אל בלוג ב' ויסרוק אותו. אם לבלוג א' יש תג NO-FOLLOW מופעל בקוד המקור של קישור זה, GoogleBot יכול לראות שהקישור קיים, אך לא ינווט או יסרוק את הבלוג ב'. אם לבלוג A יש תג NO-FOLLOW, מדוע צריך לדעת על קישורים פנימיים עבור תקציב הסריקה? מכיוון שהפעלת קישורים ללא מעקב היא דרך נוספת לעזור לייעל את תקציב הסריקה! אם יוצרים קישור פנימי לדף שאינו מספק ערך לגוגל ולא צריך את הדירוג שלו ב-SERPs, כמו דף תודה למשל, למה שתבזבז את התקציב הסריקה היקר שיכול להיות מוקדש לסריקת דפים שעוזרים להגיע לחזר על השקעה? חשוב גם לזהות עמודים יתומים שעלולים להתעכב באתר שלך. עמוד יתום הוא עמוד שאינו מקשר אליו, או שיש לו קישורים פנימיים כלשהם המפנים אליהם. הדרך היחידה לסרוק אותם היא על ידי בקשה ידנית שהם יתווספו לאינדקס מכיוון שגוגל לא תוכל למצוא אותם באופן טבעי. יש לזכור כי בתהליך של בניית אתר מג'נטו חדש או חידוש מבנה האתר, יש להקפיד להימנע מיצירת דפים יתומים. במידה וקיימים דפים ללא קישורים אליהם, על מנת לוודא שהם נסרקים יש ליצור קישור פנימי אליהם כדי לעזור ל- GoogleBot להגיע אליהם בקלות רבה יותר כאשר הוא סורק את האתר. תוכן כפול: אם קיים באתר מג'נטו תוכן משוכפל שחובה להשאיר אותו פעיל באתר, יש להשתמש בתג קנוני כדי לוודא ש- Googlebot סורק רק את דף העדיפות, למשל דף בחנות אתר מג'נטו שנועד למכירת זוג נעלי ספורט שמגיעות בכחול, אדום וצהוב. בעוד שאתה רוצה שמשתמשים יוכלו למצוא את הנעליים בכחול, מידה 12 או צהוב, מידה 4, אתה רק צריך את GoogleBot כדי לסרוק את דף המוצר הראשי. על ידי חיתוך כל הווריאציות השונות (גודל, צבע וכו') ושימוש בתג קנוני, ניתן להפחית את וריאציות הדפים המיותרים לסריקה ואינדוקס.