Med 7 timmar borde du hinna med det, men det beror på hur du tar dig in dit. Tar strax över en timme in (och lika mycket tillbaka) med tåg in til Times Square (enligt Google Maps). Jag skulle räkna minst 90 minuter, så att förseningar och eventuella byten inte gör att du missar flyget.
Så 3 timmar transport, minst en timme för immigration och tull, och du bör vara tillbaka på flygplatsen minst en timme innan flighten till Toronto. Det ger dig knappt 2 timmar på Manhattan. Borde räcka för en lunch/middag och lite bilder.