S'étendant d'un port pittoresque de la rive nord jusqu'à une gare du LIRR à sa limite sud, Port Jefferson est une petite ville vallonnée et très soudée, dotée d'un centre-ville animé et d'une atmosphère typique de la Nouvelle-Angleterre. Avec ses restaurants, ses boutiques, son théâtre professionnel et ses galeries d'art, dont beaucoup sont installés dans des bâtiments historiques, cet ancien centre de construction navale est une destination prisée des excursionnistes et des vacanciers du week-end, dont certains arrivent par ferry depuis le Connecticut. Le ferry accoste près du Danfords Hotel, Marina & Spa, un établissement de luxe qui abrite un restaurant en plein air. Les habitants apprécient le parc au bord de l'eau du village, qui propose des concerts en été, un centre communautaire proposant des activités de loisirs et une patinoire.