Название улицы «Крестовская» появилось не случайно. Именно здесь были сосредоточены городские церковные сооружения, существовавшие с XVII века: церковь Вознесения и памятная часовня в «русском стиле», располагавшиеся в начале улицы, а также Елеонская часовня, которая завершала её.

«От креста до креста» — так ещё горожане толковали название Крестовская.

Дома на Крестовской располагались вдоль красной линии улицы, оставляя в глубине приусадебные участки с садами, огородами и хозяйственными строениями. Поэтому уличные фасады приходилось содержать домовладельцам в «надлежащем порядке».

Большую Крестовскую улицу отличала милая, уютная красота. Дома были в основном одноэтажные, нередко с затейливыми башенками, верандами, мезонинами. На многих окнах красовались наличники с замысловатой резьбой. Дома утопали в зелени – кругом цвела жёлтая акация, черёмуха и столь любимая горожанами сирень.

Украшением улицы служило здание одного из первых учебных заведений города – приходского училища. Это было деревянное одноэтажное сооружение с мезонином и расположенной на крыше нарядной резной решёткой – парапетом.

В этом училище преподавал брат Чехова – Иван Павлович Чехов.

В 1927 году в Воскресенске началось переименование улиц в честь 10-летия Революции. Так улица Большая Крестовская получила нынешнее название – Первомайская.