A história começa no século XVI, quando os portugueses chegaram às margens do Rio São Francisco e encontraram uma grande formação rochosa, ideal para defesa e ocupação. Foi ao redor dessa pedra que o povoado começou a surgir.
Não há consenso sobre o fundador. Alguns historiadores atribuem a origem a Duarte Coelho Pereira, enquanto outros defendem que a fundação ocorreu durante uma expedição de seu filho, Duarte Coelho de Albuquerque, por volta de 1560.
Com o tempo, o povoado cresceu, tornou-se Vila de São Francisco e, mais tarde, passou a se chamar Penedo. O nome significa justamente grande pedra, uma referência direta ao local onde a cidade nasceu.
Essa rocha também forneceu material para igrejas, casarões e o Convento Franciscano, ajudando a moldar a arquitetura da cidade. Em 1637, Penedo foi ocupada pelos holandeses por sua posição estratégica às margens do São Francisco.