Le origini del piccolo comune hanno radici ben profonde; Sarconi, infatti, più di ogni altro insediamento della zona era legato all'antica Grumentum della quale, secondo alcun storici, sarebbe stato un sobborgo. In effetti, il territorio del comune è stato, in passato, generoso fornitore di reperti archeologici, soprattutto sepolture; questo fatto, unitamente ad una possibile derivazione del nome dal greco "sarxov" (carne), ha indotto qualche studioso a ritenerlo "luogo di carneficina", identificandovi le sepolture dei caduti nell'epica e sanguinosa battaglia fra Romani e Cartaginesi avvenuta nel 215 Avanti Cristo.
Altre testimonianze degli stretti legami che unirono Sarconi e Grumentum sono i resti rinvenuti di un acquedotto che univa le due comunità, nonché i resti di numerose ville, sicuramente di grumentini, rinvenuti in contrada Cammarelle ove ebbe origine il primo nucleo di Sarconi.

Successivamente Sarconi ebbe a subire l'influsso dell'impero bizantino: ne sono testimonianza i nomi delle diverse chiese presenti allora sul territorio, oggi purtroppo distrutte, che hanno, però, tramandato il nome alla attuali contrade, San Liguoro, San Cristoforo, Santa Maria dei Martiri. Nel periodo feudale fu dominio di diverse signorie; primo e certamente più importante "signore" fu Baldovino del Vasto al quale si deve, tra l'altro, la costruzione del castello di cui oggi sono visibili solamente scarsi ruderi. Opera questa imponente per il periodo in cui fu costruita: edificata su di una piccola altura arginata dal fiume Maglia che la proteggeva dal versante sud, mentre ad est ed ovest ripide falde ne rendevano impraticabile l'accesso.
Verso la fine del '400 Sarconi fu feudo della potente famiglia dei Sanseverino della quale visse le alterne fortune, per ritrovarsi poi, nel '600, dominio dei Principi Pignatelli, signori di Marsiconuovo.

Allo scoppiare dei moti del 1806 il piccolo centro valligiano diviene la capitale della resistenza antifrancese in Val D'Agri. Infatti, su iniziativa del Sindaco di allora, Nicola Lattaro, si organizzò un nucleo di resistenza che operò con successo in tutti i comuni limitrofi anche con perdite umane, subendo, poi, la spietata repressione dell'esercito di Bonaparte.
Come tutta la valle ebbe poi a patire la furia devastante del terremoto del 16 dicembre 1857. Tutte le testimonianze monumentali del passato, per tutte ricordiamo il castello e la chiesa madre, furono spazzate via dal sisma, ed i 1149 di allora piansero 32 morti e 4 feriti. Successivamente, allo scoccare dei moti risorgimentali del 1860 anche a Sarconi fu issato il vessillo carbonaro; alcuni sarconesi si arruolarono nell'armata dei volontari lucani ove ebbero modo di distinguersi per il loro coraggio, così come altri nostri compaesani si distinsero, per il forte senso del dovere dimostrato, nei due successivi disastrosi conflitti mondiali. Una lapide, in Piazza Municipio, è stata posta a perenne memoria del sacrificio di questi eroi.

Non meno rilevante, inoltre, il contributo che la seppur "piccola" Sarconi ha fornito all'emigrazione. Città del nord Italia, le fredde nazioni Europee, le lontane Americhe hanno di che formare un'altra Sarconi; quante abitazioni svuotate e mai più riempitesi, quanti focolari spenti e mai più riaccesi, quante famiglie, quanti cognomi, quanti volti sono andati via via scomparendo nel ricordo di chi è rimasto, caparbiamente attaccato al proprio paese, al proprio pezzo di terra. Il destino ha voluto, però, che per tanti anni le rimesse di questi figli lontani contribuissero, in maniera determinante, a sostenere l'economia dell'intera comunità, a far sorgere nuove abitazioni, a far studiare tanti giovani, ed a tante famiglie di girare la spalle alla miseria. Sono moltissimi, oggi, gli emigranti di allora che, intrapreso il viaggio di ritorno godono, nel natio borgo, dei sacrifici fatti.