Kapela bola založená 27.mája 2004 v anglickom Sheffielde. Názov pochádza z filmu Piráti z Karibiku v ktorom to bolo povedané Jackom Sparrow-om. Oliver Sykes ( Oli) je jeden z členov Bring Me the Horizon (skrátene BMTH) a taktiež jedným zo zakladajúcich členov. Práve ten v 16 rokoch so svojim kamarátom Alexom Turnerom založili projekt Olisaurus, a na neho nahrali pár polminútových videí. Spájali v nich prvky deathcoru a electra.
Keď na svoj profil napísal ,že chce založiť novú skupinu,ozvali sa mu ostatní, teraz už členovia BMTH. Jedine bubeníka Matta Nichollsa poznal už od detstva.
Ich prvou pesničkou, ktorú nahrali bolo: This Is What the Edge of Your Seat Was Made For.
O rok neskôr Oliver vydal vlastnú sadu oblečenia s názvom Drop Dead. V roku 2006 vyšiel prvý album Count your Blessings. O ďalšie dva roky vyšliel album Suicide season, ktorý všetkých preslávil.
Kvôli natáčaniu programu Top Gear zo skupiny v roku 2009 odišiel gitarista Ward. Nahradil ho Jona Weinhofen zo skupín Bleeding Through a I Killed the Prom Queen, ktorý však skupinu opustil na začiatku roka 2013.
