אל הכדורגל הגיע  גולדשטיין בעקבות אחיו הבכור חיים (על שמו קרויה קבוצת מכבי "חיים"), שנפל במלחמת העצמאות. דרכו במכבי תל-אביב החלה בקבוצת מכבי "מתתיהו", שלא שיחקה בליגה, ולאחר-מכן בקבוצת מכבי "אברהם" כחלוץ מרכזי בשנה 1947-1946.

כבר בהיותו בן 15 שנים שיחק במשחקי אימון בקבוצה הבוגרת, שבה השתלב ב-16 ביולי 1949 במשחק נגד הפועל רמת-גן בו ניצחו הצהובים 2:3. גולדשטיין השתלב כמחליף במחצית השנייה כקיצוני שמאלי. עם הזמן השתלב בהרכב הראשון החל מ-1950 בעת מסעה של הקבוצה לתורכיה, בתפקידו כמקשר ימני וכחלק מהחמישיה המובילה, שבשלב מסויים היוותה גם את החמישיה המובילה של נבחרת ישאל. עם מסע מכבי ישראל לאנגליה ב-1954, נשאר יחד עם יוסל'ה מירמוביץ, ושניהם שיחקו בקבוצת החובבים "וינגייט". השניים אף נבחרו לשחק בנבחרת החובבים של לונדון.

בשנים 1957-1955 שיחק בקבוצת ה"ריינג'רס" הדרום-אפריקנית והפך לשחקן החצי מקצועני הראשון בארץ. עם חזרתו לארץ השתלב שוב בקבוצה ובנבחרת ישראל. בעת ששיחק בדרום-אפריקה צורף למסעה של מכבי תל-אביב לארצות-הברית וקנדה.

על אף שהותו מחוץ לגבולות המדינה, מעולם לא עזב את מכבי, ומעולם לא נכנס להסגר. הוא שיחק בקבוצה עד סוף עונת 1962-1961. לאורך השנים אימן כדורגל בקבוצות שונות, ואת דרכו זו סיים במכבי תל-אביב בשנים 1990-1987, כאשר אימן בקבוצת ילדים מכבי "משה", ושתי קבוצות נערים.