Los inicios de Vampire Weekend son, como ya ha circulado por internet durante varios años, referentes al hip hop. Ezra Koenig y Chris Tomson (ambos de Vampire Weekend) junto con Andrew Kalaidjian tienen una chistosa, pero breve, aventura en el rap con un proyecto llamado L'Homme Run. Si suena jocoso y algo absurdo, es porque lo es.
Aunque Vampire Weekend ya no se dedica a incursiones directas de este estilo, la producción musical del Modern Vampires of the City (XL, 2013) dio pie a una combinación muy especial; compuesta por Danny Brown, Heems (Das Racist) y Despot, quienes rapean sobre el beat remixeado de "Step". La canción original samplea a Souls of Mischief en "Step to my Girl", aunque temáticamente distan mucho una de la otra. Sin embargo, el más reciente remix parece volver a esta discusión romántica desde una sensibilidad masculina sobre la chica increíble que plantearon Souls of Mischief en primer lugar.
Para celebrar el fin de año, la canción fue lanzada como descarga gratuita a través de su twitter, la cual pueden descargar en este enlace.