Entre temps, Vito Genovese, underboss (commandant en second) de la famille, souhaitait ardemment prendre la place de Costello. Pour éviter une condamnation pour meurtre, il s'était exilé en Italie entre 1937 et 1946 et à son retour, il constata avec aigreur que le pouvoir de Costello, ainsi que son alliance avec le puissant Albert Anastasia s'étaient accrus pendant son absence. Le rapport de force étant défavorable à Genovese, il attendit le moment favorable, plutôt que de déclencher une guerre de gangs. En avril 1957, un tueur à la solde de Genovese, Vincent Gigante, tenta d'assassiner Costello dans une rue new-yorkaise. La légende veut que Gigante aurait, tout en pointant son arme, alerté Costello en criant: "Frank, c'est pour toi!". Celui-ci s'en sortit avec une blessure au crane.
Après cet attentat, Costello décida de se retirer et laissa sa place à Genovese. Il se vengea plus tard en participant avec Luciano à la transaction d'héroïne piégée qui envoya le nouveau boss en prison. Costello finit ses jours à l'hotel Waldorf Astoria à New York, où Carlo Gambino, parrain de l'une des cinq familles, venait lui rendre visite. Il mourut d'une crise cardiaque en 1973.
