Registrato in presa diretta al The Rare Book Room di New York con il produttore Gabe Wax (Cass McCombs) e ispirato dalla nascita della stessa artista, l'11 agosto 1996, 'il giorno più caldo di quell'anno', 'I Was Born Swimming' racconta paesaggi e relazioni che cambiano, esprimendo proprio nel cambiamento una sensazione di piena speranza.
 
Anticipato dal singolo 'Red Shoulder', l'album di Squirrel Flower ha un suono etereo e caldo, ricco di profondità emotiva, con arrangiamenti che si espandono e si contraggono sui vari stati d'animo, liberandosi dai riff più pesanti della chitarra solista della Williams che prende direzioni diverse: 'Red Shoulder è una canzone sulla destabilizzazione e la dissociazione. La canzone termina con un viscerale solo di chitarra che cerca di rimettere in ordine ciò che è andato storto', dichiara.
 
La Williams proviene da un albero genealogico musicale profondamente radicato. I suoi nonni sono cresciuti dentro Gate Hill, una cooperativa artistica di New York nata dal Black Mountain College. Il padre di Ella, Jesse Williams, ha trascorso gran parte della sua vita come musicista e insegnante di jazz e blues e nell'album suona anche il basso. Da bambina la piccola Ella inizia a cantare con il Boston Children's Chorus, durante l'adolescenza scopre la scena folk indipendente della sua città e inizia quindi a scrivere, registrare ed eseguire le sue canzoni, scegliendo Squirrel Flower come nome d'arte.
 
La pura determinazione e la fiducia nelle proprie capacità la portano di lì a poco ad aprire i concerti di alcuni artisti come Moses Sumney, Lucy Dacus, Frankie Cosmos, Jay Som, Julien Baker, Soccer Mommy e Big Thief. Ed è proprio durante questo periodo che decide di iniziare a scrivere le canzoni di 'I Was Born Swimming'.