אבי כהן הצטרף בגיל 9 לקבוצת הילדים של מכבי תל אביב ושיחק במשך השנים בקבוצות הנערים והנוער. את הופעת הבכורה בקבוצת הבוגרים ערך אבי כהן במרץ 1974 מול הכח רמת גן באצטדיון הלאומי. בעונה השנייה שלו בבוגרים כבש אבי כהן את שער הבכורה, שער ניצחון שהעניק לצהובים 0:1 מול הפועל חדרה. החל מאותה עת כהן קיבע את מעמדו כבלם בעל אופי התקפי, מה שזיכה אותו בכינוי ה"ליברו", סגנון שנחשב למודרני וייחודי באותה תקופה.
אחד השערים הזכורים של כהן היה במהלך הדרבי התל אביבי בעונת 1978/79. כל אוהד מאותה תקופה יזכור את הרגע ההוא תחת גשם שוטף מול 20,000 אוהדים בדרבי התל אביבי כאשר כהן הניף את רגל ימין ושלח בעיטת יעף אדירה שנעצרה ברשת של האדומים והעניקה למכבי תל אביב ניצחון 0:2. באותה עונה כהן אף זכה עם הקבוצה באליפות, זאת בנוסף ל"דאבל" שזכה עם הקבוצה שנתיים קודם לכן ולגביע של עונת 1986/87. לזכות אבי כהן גם אליפות עם ליברפול האנגלית בעונת 1979/80, מגן הקהילה של השנים 1979 ו- 1980, גביע הליגה של 1987 עם גלאזגו ריינג'רס וגביע אירופה לאלופות של עונת 1980/81 עם ליברפול האנגלית.
במהלך הקריירה של אבי כהן הוא הספיק לחזור לעוד שתי קדנציות במדים של מכבי תל אביב לפני שפרש בתחילת שנות ה-90. לזכות אבי כהן 64 הופעות במדי נבחרת ישראל בין השנים 1976-1988 ושער בודד. לימים אימן כהן במספר קבוצות בליגת העל ובליגה הלאומית וגם שימש כיו"ר ארגון השחקנים. בזמן כהונתו בתפקיד, כאשר הוא עדיין מצוי חזק בתודעה היומיומית של אוהדי הכדורגל בארץ הגיע חייו נקטעו בצורה טראגית. ב-20 בדצמבר 2010 נפצע אבי כהן באורח אנוש בתאונת דרכים, כאשר רכב מסחרי פגע בו בעת שרכב על קטנוע. שמונה ימים לאחר מכן קבעה ועדה רפואית כי הוא שרוי במוות מוחי ולמחרת, ב-29 בדצמבר, נדם ליבו של כהן והוא נפטר בגיל 54.
לאחר מותו הוחלט במועדון הכדורגל של מכבי תל אביב להסב על שמו את מתחם מחלקת הנוער של המועדון.
