Phil et Penny habitent dans un modeste appartement avec leur fille Rachel et leur fils Rory. Phil est chauffeur de taxi et Penny caissière dans un supermarché. Rachel travaille comme femme de ménage dans un home pour personnes âgées, tandis que Rory est sans emploi et passe ses journées couché dans le canapé, devant la télévision.

L'amour entre Phil et Penny s'est dilué au fil des années; la joie et les rires ont disparu de leur vie. Un événement tragique et inattendu va les amener à se rapprocher et à redécouvrir leur amour. "All or nothing" se passe dans une cité des environs de Londres, et trace le portrait de cette famille, mais aussi de leurs nombreux voisins, tous impliqués dans cet événement tragique.