הראבי"ה - מגדולי ראשוני אשכנז - מביא לתפילה זו מקור מהתלמוד הירושלמי. בגרסתו של הראבי"ה, מופיע בירושלמי כך: "בשעה שהקב"ה מביט בבתי תיטריות ובבתי קרקסיות יושבות בטח ושאנן ושלוה ובית מקדשו חרב, הוא אפילון [= מאיים] לעולמו להחריבו. וכיוון שישראל נכנסין שחרית וערבית לבתי כנסיות ולבתי מדרשות ומייחדים שמו ואומרים 'שמע ישראל ה'' וגו', מתקבצים כל מלאכי השרת אצל הקב"ה ואומרים לפניו: אתה הוא עד שנברא העולם ואתה הוא משנברא העולם, אתה הוא בעולם הזה ואתה הוא לעולם הבא. קדש את שמך על מקדישי שמך, ברוך אתה ה' מקדש את שמך ברבים. מיד נוחה דעתו. הדא הוא דכתיב: 'ואתה קדוש יושב תהילות ישראל' - שמיישב דעתו בשביל תהילות ישראל".
לפי גרסתו של הראבי"ה, תפילה זו היא תפילתם של מלאכי השרת לאחר שישראל מתכנסים בבתי כנסיות ומייחדים את שמו ית' ברבים. שמו של הקב"ה מתחלל כאשר בתי תיאטראות של גויים יושבים בטח בעוד בית המקדש חרב, אמירת "שמע ישראל" ע"י עם ישראל מקדשת את השם ברבים ומתקנת את חילול השם, ועל כך מברכים המלאכים (ואנו בעקבותיהם) "מקדש את שמך ברבים". מכאן הקשר ההדוק שבין תפילה זו לבין קריאת שמע, וזוהי הסיבה לכך שאנו מברכים את הברכה לאחר קריאת שמע.
בעל "שיבולי הלקט", אף הוא מראשוני אשכנז, מביא לתפילה זו מקור אחר - ממדרש תנא-דבי-אליהו. הוא פותח בשאלה על הנוסח "לעולם יהא אדם ירא שמיים בסתר" - "וכי בסתר יהא אדם ירא שמים ולא בגלוי?", ומשיב: "ור' בנימין אחי נר"ו כתב שראוי לומר 'בסתר', שלא אמרו... אלא כנגד דורו של שמד, שגזרו שלא לקרוא את שמע ולא היו יכולין להיות יראין בגלוי, על כן הזהירם וזירזם לקבל עליהם עול מלכות שמים בסתר... על כן אומר: 'ברוך המקדש שמו ברבים' , לפי שבשעת השמד אין שמו מקודש ברבים אלא בסתר". לדבריו, ברכה זו אינה ברכת השבח על קידוש השם בהווה, אלא בקשה על העתיד - "קדש את שמך (בעתיד) על מקדישי שמך (בסתר) וקדש את שמך בעולמך (לעיני כל)", ומהווה כפרה על כך שקידוש השם בהווה נעשה רק בסתר.