אבי כהן החל את דרכו כחלוץ בקבוצת בית"ר ירושלים בעונת 1979/80, אך מהר מאוד הוסט לעמדת המגן הימני. כהן הוכיח את עצמו משני צדי המגרש והיה מראשוני השחקנים שהכניסו לתודעה של הכדורגל הישראלי את אופנת המגנים התוקפים. בקיץ 1989 הצטרף אבי כהן למכבי תל אביב וזכה לכינוי "הירושלמי" בגלל שבאותה עת שיחק במועדון גם אבי כהן ה"תל אביבי". בשתי עונותיו הראשונות בצהוב כחול כהן גילה מעט מפוטנציאל הכיבוש שלו עם 3 ו-6 שערים אך כל זה היווה הקדמה לעונה החלומית שעתידה לבוא.
לתחילתה של עונת 1991/92 הגיעה מכבי ת"א לאחר 12 עונות ללא אליפות ובדיוק בזמן המתאים אבי כהן "הירושלמי" היה מוכן לעונת שיא אישית. המגן סיים את העונה עם מספר בלתי נתפס לשחקן בתפקידו כאשר כבש 20 שערים, 18 בליגה ושניים בגביע המדינה כולל שער בגמר שלא עזר לצהובים שהפסידו 1-3 להפועל פ"ת ופספסו דאבל. בעונה שלאחר מכן כהן ראה את מועדון נעוריו מירושלים חוגג אליפות, הסתפק בגביע הטוטו עם מכבי ת"א אף חגג ציון דרך אישי וקבוצתי. כהן היה זה שכבש את השער הראשון של מכבי ת"א במסגרת אירופית בעונה בה הקבוצות הישראליות הוכנסו למעגל התחרויות באירופה. הצהובים יצאו למשחק חוץ נגד ואלטה במוקדמות ליגת האלופות של עונת 1992/93 וכהן כבש את שער השוויון בניצחון 2-1.
בעונת 1993/94 כהן השלים זכייה בכל התארים במדי מכבי ת"א כאשר הצהובים ניצחו את הפועל ת"א 0-2 בגמר והניפו את גביע המדינה. כהן המשיך להעמיד ממוצע שערים טוב לשחקן הגנה עם שמונה שערים בכל המסגרות אך העונה שלאחר מכן הייתה קשה יותר עבורו. כהן נאלץ להפסיק לשחק בשלהי העונה עקב פגיעה בגב שגם הכריחה אותו לפרוש ממשחק לאחר מכן. למרות זאת כהן היה שותף לעונת אליפות נוספת, השנייה שלו במכבי ת"א ובכך סגר תקופה מוצלחת של שש עונות עם ארבעה תארים במדי הצהוב כחול. גם מדי הכחול לבן של נבחרת ישראל האירו פנים למגן התוקף הנמרץ שהופיע 32 פעמים וכבש חמישה שערים במדים הלאומיים.