Infans autem relictus a patre, ac per omne fere pueritiae atque adulescentiae tempus variis et tenacibus morbis conflictatus est, adeo ut animo simul et corpore hebetato, ne progressa quidem aetate ulli publico privatoque muneri habilis existimaretur. Diu sub pedagogo fuit; quem barbarum ex industria sibi appositum (esse), ut se quibuscumque de causis quam saevissime coerceret, ipse quondam libello conqueritur. Disciplinis tamen liberalibus ab aetate prima non mediocrem operam dedit. Verum ne sic quidem quicquam dignitatis assequi aut spem de se commodiorem in posterum facere potuit. Mater Antonia portentum eum hominis dictitabat; ac si quem socordiae argueret, stultiorem aiebat filio suo Claudio. Avia Augusta pro despectissimo semper habuit, non affari nisi rarissime, non monere nisi acerbo et brevi scripto solita. Soror Livilla cum audisset quandoque imperaturum (esse), tam iniquam et tam indignam sortem populi Romani palam et clare detestata est.
Abbandonato da piccolo dal padre, per quasi tutto il periodo dell'infanzia e dell'adolescenza fu anche afflitto da diverse e persistenti malattie, al punto che, debole sia nella mente e insieme nel corpo, non fu ritenuto idoneo per alcun incarico pubblico e privato anche in età più avanzata. Per lungo tempo rimase sotto un pedagogo, che egli stesso, in un determinato scritto, lamenta fosse un barbaro preso dalla manovalanza, che gli era stato messo accanto perché lo riprendesse molto severamente per qualsiasi motivo. Tuttavia, fin dall'infanzia si dedicò con buoni risultati alle discipline liberali. Ma non pote' così conseguire alcunché di dignità né realizzare una più opportuna speranza di sé per il futuro. La madre Antonia ripeteva spesso che era un mostro d'uomo; e riprendeva qualcuno per l'ottusità, diceva che era più scemo di suo figlio Claudio. La nonna Augusta lo ritenne sempre disprezzatissimo, non gli rivolgeva la parola che rarissimamente, era solito non ammonirlo se non duramente e con un breve scritto. La sorella Livilla, quando ebbe appreso che prima o poi sarebbe diventato imperatore, apertamente e pubblicamente maledisse una sorte così ingiusta e indegna del popolo romano.