Tato píseň se týká Jeremyho, který opustil kapelu těsně před nahráváním alba „All We Know Is Falling“.

Píseň „All we know“ je o tom, jak nás Jeremy opouští a jak jsme tomu nemohli porozumět a nemohli to pochopit. Nebylo to pro nás reálné. A je to skoro jako dopis pro něj, říkajíc „Nikdy na tebe nezapomenu.“

Na začátku nás bylo pět a když jsme se rozhodli přestěhovat na pár měsíců do Orlanda, abychom psali a nahrávali, šlo nás všech pět. A to bylo s naším bývalým bass kytaristou Jeremym. A asi po dvou týdnech jsme byli připraveni nahrávat a on nás překvapil s něčím jako „ lidi, zrovna jsem si koupil letenku domů a už nebudu v kapele.“ A my na to „ó můj bože!“ Prostě nás to zlomilo.
– Hayley, Crushmusicmag, 14.07.2005

Hayley: Náš bývalý bass kytarista Jeremy nás opustil těsně před tím celým nahrávacím procesem na desku. Asi dva dny po tom co odešel, jsme napsali píseň „All we know“. Rozhodli jsme se, že na tom založíme album, což je také to, co znamená cover. Pohovka bez nikoho a odcházející stín; je to všechno o Jeremym, jak nás opuští a o nás, jak jsme cítili, že je tu prázdné místo.
Josh: Ale teď jsme s ním v pohodě. Všechno je v pořádku. Byl to celkově dobrý námět na napsání nahrávky.
Tony: Proč odešel?
Josh: Měl nějaké osobní problémy se kterými se vypořádával; je teď v jiné kapele.
– Interview s Hayley a Joshem pro The Trades, 8.07.2005

Jeremy se vrátil do kapely v roce 2006.

Podle rozhovoru z 15.dubna 2006 s Paramore.org:

kiwi: jeremy, hayley chce vědět, když jsi poprvé uslyšel all we know is falling, jaká byla tvá prvotní reakce, vzhledem k tomu, že all we know je o tobě?
jeremy: no, ze začátku jsem neveděl, jakože, poslouchal jsem a říkal si myslíte si, že je to o mně? ale neměl jsem ani ponětí. když vlastně josh napsal tu píseň, předtím než tam byl text, ukazoval mi ji u mě v obýváku a jammovali jsme na ni a já říkal něco jako hej chlape, tuhle písničku si zapamatuju! potom jsem slyšel ty slova a říkal si, sakra zní to jako by to bylo mířeno na mě. a já nevěděl, jestli to bylo v dobrém nebo ve zlém, ale bylo to celkem., uh…líbilo se mi to.

Během letního Fueled By Ramen chatu Jeremy řekl, že „All We Know“ je song, který hraje nejmíň rád. (3:30)

Oficiální video bylo natočeno v létě 2005, ale vydáno později, „All We Know“ byl až třetí singl.

Hayley: Jo, zrovna jsme něco natočili pro píseň „All we know“. Je to jako živá stopáž a my ve zkušebně a je to vážně super video. A zřejmě John Janick, prezident Fueled By Ramen to poslal do Fused. Takže to snad začnou hrát a my uvidíme, co se s tím bude dít.
– Hayley, Crushmusicmag, 14.07.2005