שאלות ותשובות הלכה יומית

  בספר "ילקוט יוסף" דיני חינוך קטן כתוב כך:מצוה להביא ילדים קטנים שהגיעו לחינוך לבית הכנסת, להתפלל עם הצבור, ולזרזם להקשיב ולענות דברים שבקדושה ואמן, ולחנכם לעמוד באימה וביראה, ולהזהר בקדושת המקום כראוי. והוא הדין לבנות שהגיעו לחינוך שנכון לחנכן ולהביאן לעזרת נשים, ולהתפלל. [תנא דבי אליהו]. ובפרט לענין מקרא מגילה דמנהג טוב להביא את הילדים לבית הכנסת לשמוע מקרא מגילה. ומיהו כל זה בקטנים שאינם מבלבלים את תפלת הצבור, אבל אם הם קטנים ביותר המפריעים לצבור להתפלל, אין להביאם לבית הכנסת. ועדיף להתפלל יחיד, מאשר להביא עמו ילדים קטנים לבית הכנסת, שיפריעו לצבור להתרכז בתפלתם. [שאר''י ח''ג עמוד נד. ילקו''י סימן קו הערה ו', שם, עמוד תקט]. 
השאלה שלי היא כך:
לי יש שלושה ילדים ואני מעוניין להביא את שני הגדולים שלי עימי לבית הכנסת (הגדול בן 8 ,ויותר קטן בן  5.5)
אך איני יודע מהו גיל חינוך שהרב כותב לעיל, אני חושש שמא יגדלו הנערים ויתרגלו לא לבוא לבית הכנסת בשבת מתוך חשש שמא יפריעו לי להיתרכז בזמן קריאת התורה .
והיה ואם הם הפריעו לי להתרכז בזמן קריאת התורה האם עלי להמתין שיגדלו עד איזה גיל?