I manoscritti presenti nell'archivio dell'Orto botanico di Padova, all'interno del faldone contenente i documenti personali di Roberto De Visiani, consentono di ricostruire in parte il suo albero genealogico nonché di ricavare alcune informazioni storiche sulle vite dei suoi antenati.

Le origini della famiglia di De Visiani sono incerte: alcuni le attribuiscono un'origine veneta, mentre Francesco Marzolo nella sua Commemorazione riferisce che il padre di Roberto, Giovanni Battista De Visiani, era "oriundo francese" (Marzolo, 1878). La famiglia, di ceto benestante, si insedia in Dalmazia verso la prima metà del Settecento, prima a Zara, poi a Spalato e nel 1765 a Sebenico.

Un antenato del prefetto, Roberto Visian è capitano dell'esercito; a fine carriera riceve una pensione militare, e questo caposoldo verrà ereditato per generazioni, fino ad essere motivo di scontri tra gli aventi diritto.

Il nonno di Roberto De Visiani, Antonio Roberto De Visiani, speziale, apre una fiorente farmacia a Sebenico nel 1768 dove si vende anche una famosa polvere insetticida a base di piretro (pianta a cui in seguito Roberto De Visiani dedicherà attenzione nei suoi studi). Possiede inoltre vari terreni che lascia in eredità ai figli Luigi e Giovanni Battista, rispettivamente zio e padre di Roberto De Visiani.

Il padre, Giovanni Battista Costantino (1771–1831), si laurea a Padova nel 1794 in Medicina e Chirurgia – come farà il figlio – compiendo anche studi di filosofia retorica e logica. Nel 1807 fonda e dirige il nuovo ospedale di Sebenico, è un medico del Cordone sanitario della Dalmazia, e ricopre l'incarico di medico, poi di direttore, degli Ospizi distrettuali di Sebenico. Riceve numerosi premi dal governo francese nel 1809 per la quantità di vaccinazioni antivaiolose somministrate in Bosnia. È attivo anche nel campo commerciale, infatti fonda una società per la vendita e la produzione dell'olio.

Lo zio del prefetto, Luigi Visiani è canonico e vicario vescovile di Sebenico.

I due fratelli ereditano moltissimi terreni, che sono coltivati da numerosi fittavoli e coloni con i quali hanno svariate controversie legali di materia economica.

In seguito alla morte dello zio e del padre, Roberto eredita i terreni dalmati con le relative cause irrisolte perciò incarica vari procuratori affinché si occupino di queste questioni in sua vece. Negli anni Sessanta decide di vendere le proprietà della Dalmazia non riuscendoci a causa dei molti beni posseduti in comune con altri ereditieri.

Il ramo femminile della famiglia De Visiani invece non riceve beni immobili, bensì denaro, ricchi corredi con oggetti preziosi ed elegante vestiario.

Per quanto riguarda la madre di Roberto, Maddalena Drasich, si sa solo che è di origini illiriche. Dai documenti presenti nell'Archivio storico dell'Università di Padova risulta che Roberto avesse un fratello minore, Pietro Visiani, laureatosi a Padova in Farmacia nel 1821 e deceduto prematuramente dopo lunga malattia all'incirca nel 1826. In seguito alla sua morte, Roberto gli scrive una dedica all'interno dell'opera Stirpium Dalmaticarum specimen.

Durante il periodo in cui è prefetto De Visiani vive all'Orto botanico, ma – oltre ai possedimenti dalmati – ha anche una casa a Torreglia, con annesso terreno e allevamento di animali da cortile, gestita per lui da un gastaldo.

Grazie alle informazioni presenti presso il Fondo De Visiani alla Biblioteca Civica di Padova è stato possibile capire che la famiglia di De Visiani è imparentata con la famiglia Ferruzzi. In particolare Francesca Boncio, nonna del prefetto, prima di sposare Antonio Roberto De Visiani, era stata moglie di Giovanni Battista Ferruzzi, bisnonno del noto pittore della Madonnina, Roberto Ferruzzi. Il figlio di Giovanni Battista Ferruzzi, Antonio Ferruzzi è uno dei procuratori incaricati della gestione dei possedimenti dalmati di Roberto De Visiani.