Dès les années 1820, une zone au Sud de Manhattan appelée Five Points (car cinq rues s'y rejoignaient), devient l'endroit le plus mal famé de New York, par sa concentration de repaires de brigands, de coupe-gorges et de maisons de passe. Au cours du XIXe siècle, les quartiers environnants sont un assemblage de taudis reliés par des rues boueuses dans lesquels les enfants d'immigrés, au lieu de rester dans des appartements trop exigus, apprennent la loi de la rue.
À partir des années 1870, les immigrants juifs et italiens arrivent en masse à New York et s'installent au Sud de Manhattan. La physionomie des gangs se modifiera en conséquence, les immigrés formant leurs propres gangs pour résister à ceux qui tenaient la place. Parallèlement, la mafia sicilienne s'installe vers les années 1890, avec l'arrivée du parrain Antonio Morello. Il s'associe avec un Sicilien immigré en 1898, Ignazio Saietta, surnommé Lupo -le loup - pour sa cruauté dans la pratique de l'extorsion envers ses concitoyens.

Vers la fin du 19ème siècle apparaît la "Mano Nera" (la Main noire), forme embryonnaire d'organisation mafieuse qui a la haute main sur ses compatriotes. Ses activités sont l'extorsion, le contrôle du jeu, les trafics en tout genre (dont celui des stupéfiants), et elle solutionne ses problèmes par le meurtre.
Les ressentiments xénophobes anti-italiens s'avivent avec le développement du crime organisé sicilien, ce qui aboutit, en 1891, à l'un des lynchages les plus sanglants de l'histoire des États-Unis. Onze Italiens sont tués par une foule en colère, suite à l'assassinat non résolu du chef de la police, David Hennessey. La communauté italienne était pourtant la première victime de la Mafia sicilienne dont certains membres pratiquaient l'extorsion à l'encontre de leurs compatriotes par des opérations signées par une main noire dessinée sur les lettres de menaces adressées aux cibles du racket. Si la somme demandée n'était pas laissée sur le pas de la porte de la victime, celle-ci avait de grandes chances d'être assassinée.
Certains Siciliens immigrés étaient déjà affiliés à la Cosa Nostra avant d'arriver et renouèrent, sur le sol américain, le même type de liens que ceux prévalant en Sicile. C'est à La Nouvelle-Orléans que la Mafia sicilienne s'implante pour la première fois aux États-Unis, avant d'essaimer dans les autres grandes villes à la fin du XIXe siècle. La presse locale fait état, dès 1869, de l'agissement de bandits, cambrioleurs ou faux-monnayeurs siciliens. Entre 1870 et 1890, la police de La Nouvelle-Orléans impute plus d'une centaine de meurtres à la Mafia sicilienne. À la fin du XIXe siècle, celle-ci domine les activités du port (rackettant les navires en transit) et le commerce des fruits et légumes.

Big Jim Colosimo, proxénète et roi du jeu, patron de la pègre de Chicago, est une des stars du début du 20ième siècle à Chicago où il régnait sur un empire de plus de 200 lupanars. En 1909, Colosimo collabore avec les "familles" criminelles de New York et Chicago. Mais il ne veut pas s'impliquer dans le trafic d'alcool lors de la Prohibition et il sera assassiné en mai 1920, par un caïd de la mafia de New York.

En 1919 est votée la loi Volstead qui interdit la production, la vente, le transport, l'importation et l'exportation mais pas la consommation d'alcool sur la totalité du territoire des États-Unis. Au cours de cette période de la prohibition (entre 1920 et 1933), le crime organisé va connaître un essor sans précédent: augmentation fulgurante de ses revenus, structuration quasi-industrielle vu le développement de ses activités, accroissement de sa puissance et de son influence. Les gangs se ruent sur cette aubaine et unissent leurs efforts pour contourner la «Prohibition». Ils ouvrent des bars clandestins, importent du Canada, de Terre-Neuve et de Saint-Pierre-et-Miquelon de l'alcool de contrebande.
Les distilleries clandestines sont plus marginales: la mauvaise qualité de leur production posera des problèmes de santé à des milliers de consommateurs. Les gangs s'occupent de la distribution, des pots-de-vin distribués aux autorités locales et, si nécessaire, de l'élimination des groupes rivaux.
L'impact de la Prohibition sur le crime organisé sera fondamental: d'une part, elle implique des profits beaucoup plus importants et la création de groupes mieux organisés, et d'autre part, elle donne naissance à des carrières criminelles aux rôles prépondérants: Al Capone, Lucky Luciano, Frank Costello, Meyer Lansky, Bugsy Siegel, Dutch Schultz, Waxey Gordon, etc.

Avec les années 1930, commence la restructuration des gangs par la violence. Les tenants d'une conception traditionnelle et la nouvelle génération s'opposent. De jeunes criminels décident l'élimination des anciensqui se refusent à tirer profit de la drogue et de la prostitu­tion, activités jugées par eux indignes d'un homme d'honneur.

Com­mence alors la guerre des Castellamarese. Brève mais violente, elle durera quelques mois. Le grand instigateur et bénéficiaire de ces liquidations est Lucky Luciano. Il met en place la Cosa Nostra américaine en s'adaptant aux circonstances économiques et politiques. D'abord, il trouve de nouvelles sources de revenus car la «Prohibition» prend fin avec le 21eamendement (1933)et la crise économique de 1929 produit l'essentiel de ses effets, causes qui imposent aux gangs de renouer avec des activités classiques: jeu dans les casinos avec les machines, prostitution remise au goût du jour par l'usage du télé­phone qui lance ainsi les premiers réseaux de call-girls, racket des syndicats (dockers et transporteurs), et enfin trafic de stupéfiants.
La nature des rapports entre gangsters change, les relations personnelles, fami­liales ou locales laissent place à un type de relations américani­sées, axées uniquement sur l'enrichissement.
Les descendants d'immigrants de la première génération ont atteint par leurs étu­des des postes de responsabilité: juges, avocats, policiers, procu­reurs, etc. C'est parfois utile. L'approche des personnalités politi­ques, voire la corruption deviennent des méthodes de travail normales; en homme clairvoyant, Luciano investit dans les mon­danités et l'influence. II joue au golf, fréquente les hippodromes, soutient le gouverneur démocrate Al Smith aux élections présiden­tielles de 1929. Les mafieux exportent les nouvelles métho­des. Meyer Lansky se rend à la Havane et prend un arrangement avec le dictateur Battista. Contre 3 millions de dollars versés chaque année sur un compte en Suisse, le dictateur laisse les mains libres à Luciano et Lansky. La Havane devient un immense casino, un site de villégiature pour les Américains fortunés. Bugsy Siegel lance Las Vegas; à la demande de Luciano, il investit aussi Hollywood en menant de front une vie mondaine active et visible avec les plus grands noms du show-business et la prise en main des syndicats d'acteurs et de techniciens afin de racketter les grandes firmes cinématographi­ques en les menaçant de déclencher des grèves intempestives et donc ruineuses.

Il est alors convenu qu'aucun chef mafieux ne doit dominer l'ensemble du crime organisé, mais qu'il y aura une forme de direction collective. Les nouvelles règles impliquent le respect de l'autonomie et du territoire de chaque groupe local ou la recherche de la collaboration plutôt que de l'affrontement, le règlement des litiges importants par le biais des responsables de ce syndicat du crime, qui doit permettre de "réguler" collégialement les activités les plus lucratives (jeux, trafics, prostitution, rackets). Par ailleurs, il sera mis en place un système de fonds communs (né de l'association entre Lucky Luciano, Meyer Lansky et Frank Costello) destiné à payer des pots-de-vin aux autorités et à financer les investissements spéciaux.

À la fin de la Prohibition, en 1933, la direction de ce syndicat, sorte de conseil d'administration du crime organisé, comprenait sept membres permanents (les Big Seven). Dans le même temps, la Commission met en place une branche chargée de l'exécution, après délibération des chefs mafieux, des membres du crime organisé coupables de manquements ou considérés comme non fiables. Connue sous le nom de Murder Incorporated, cette équipe de tueurs, opérationnelle sur tout le territoire américain, sera dirigée par Lepke Buchalter, avec l'aide d'Albert Anastasia et Bugsy Siegel.

Mais Franklin Roosevelt, fraîchement élu, souhaite faire tomber ces gangsters trop arrogants. Le procureur T.E. Dewey monte un dossier de proxénétisme contre Luciano et, le 18 juin 1936, obtient une peine de trente à cinquante ans de prison.