Je härter sie fallen‘s Eröffnungsszene zeigt Rufus, wie er ein Kreuz in die Stirn des jungen Nat schnitzt, mit unterschiedlichen Gründen für die Narbenbildung und das eigentliche Symbol. Je härter sie fallen‘s Hauptfiguren bestehen aus zwei rivalisierenden Gangs im Alten Westen, der Nat Love Gang und der Rufus Buck Gang. Der Film zeigt, wie Nat Love seine Bande rekrutiert, um sich endlich an Rufus Buck zu rächen, der als Kind seine Mutter und seinen Vater ermordete und ihn mit einem Kreuz in seine Stirn am Leben ließ.
Die Gründe für die Ermordung von Nats Vater durch Rufus Buck, der anscheinend ein hingebungsvoller Priester und Familienvater war, waren mysteriös, bis Je härter sie fallen‘s Ende Wendung. Als Rufus und Nat ihre letzte Pattsituation haben, ist Rufus bereit zu sterben, aber nicht bevor er Nat erzählt, dass der Mann, den er vor all den Jahren getötet hat, tatsächlich auch sein eigener Vater war, was Nat zu einem Buck vor einer Liebe macht. Ihr Vater war ein Alkoholiker, der Rufus und seine Mutter als Kind missbrauchte, nur um sie zu verlassen, seine Identität zu ändern, das Leben in der Kirche aufzunehmen und eine neue Familie zu gründen. Zu Beginn seiner kriminellen Karriere verbrachte Rufus seine Zeit damit, seinen Vater aufzuspüren, ihn schließlich zu finden und ihn und Nats Mutter zu ermorden, während er seinen jüngeren Bruder am Leben ließ.
Der schurkische Charakter in Je härter sie fallen enthüllt, dass es seine wahre Rache an ihrem Vater war, ein Kreuz in Nats Stirn zu schnitzen und ihn am Leben zu lassen, und trieb den guten Sohn ihres Vaters in den gleichen gesetzlosen Lebensstil, vor dem er versuchte wegzulaufen. Während Rufus Nat aufgrund seiner Wut und seines Grolls einfach hätte leben lassen und in das Outlaw-Leben eintreten können, vernarbte der Bandenführer ihn, um sich immer an sein Gesicht zu erinnern, wenn er für seine unvermeidliche Rache zurückkam. Der Großteil des Films lässt es so aussehen, als ob Rufus, der das Kreuz in Nat schnitzte, eine Visitenkarte war, die Nat immer als eines seiner Möchtegern-Opfer markieren würde, wie zum Beispiel, wie Aldo Raine Hakenkreuze in die Nazis schnitzt, in denen er leben lässt Inglourious Basterds, aber die Entdeckung, dass es auf ihrer familiären Verbindung beruht, gibt ihm bedeutendere symbolische Bedeutungen.
Insbesondere das Kreuz war ein Symbol dafür, wie Idris Elbas Filmfigur Nat ansah und ihn als Produkt der heuchlerischen neuen Identität ihres Vaters betrachtete. Wenn Nat ihren Vater als Heiligen darstellte, verkörperte Rufus ihren Vater, als er dem Teufel am nächsten war. Hindurch Je härter sie fallen, Nat und Rufus repräsentieren verschiedene Seiten von Gut und Böse, und diese Dichotomie wird vollständig erkannt, sobald sich herausstellt, dass sie Brüder sind. Der moralische Vergleich von Nat und Rufus wird auch durch die Worte hervorgehoben, die Mary an Nat spricht, direkt nachdem er Rufus getötet hat: „Ist der Teufel tot?“ Nat antwortet, dass er es nicht weiß, was darauf hindeutet, dass Rufus wirklich nicht der Teufel war, als er merkte, dass er von der gleichen Wut auf ihren Vater absorbiert war, die Nat für Rufus hatte.
Wenn Rufus Nat wiedersah, erinnerte ihn das Kreuz an seine Wut auf ihren Vater; doppelt eifersüchtig darauf, dass Nat ihn als guten Elternteil erlebt und wütend auf seinen Vater, weil er ihn missbraucht und verlassen hat. Zum Je härter sie fallen‘s historischen Charakteren hätte das Kreuz auch ein Test sein können, ob ihr Vater als heiliger Mann bedeuten würde, dass sein neuer Sohn nachziehen würde – wenn Nat von ihrem Vater positiv erzogen wurde, warum sollte er dann zu einem Kriminellen wie Rufus werden? Indem er zusah, wie Nat zu einem berüchtigten Gesetzlosen wurde – obwohl mit der Selbstjustiz, nur von anderen Gesetzlosen zu stehlen – würde Rufus sich selbst fälschlicherweise beweisen, dass sich ihr Vater nie wirklich verändert hatte und dass es nicht seine eigene Sache war, ein Krimineller zu werden. Je härter sie fallen Nat seine Narbe zu geben, schubste den Protagonisten absichtlich in seinen gesetzlosen Lebensstil, während Rufus darauf wartete, dass Nat endlich die gleiche Rache nimmt, die er hatte.