漢朝末年（東漢），北海地方出了一個很博學的人，名叫孔融，宇文舉，是孔子的二十世孫。他從小就很聰明，尤其長于辭令，小小年紀，已是在社會上享有盛名。他十歲時，跟他父親到洛陽（今河南洛陽縣。洛陽是歷代帝王的陪都，因位于長安之東，稱為東都），當時在洛陽的河南太守，是很負盛名的李元禮，由于李氏的才名很重，因此在太守府中往來的人除了他的親戚，其余都是當時有才名的人。如果不是名人去訪，守門的人照例是不通報的。年僅十歲的孔融，卻大膽地去訪問這位太守。他到府門前，對守門人說：

“我是李太守的親戚，給我通報一下。”

守門人通報后，李太守接見了他。李元禮問他說：“請問你和我有什么親戚關系呢？”孔融回答道：“從前我的祖先仲尼（即孔子）和你家的祖先伯陽（指老子，老子姓李名耳，字伯陽）有師資之尊（孔子曾向老子請教過關于禮節的問題），因此，我和你也是世交呀！”當時有很多賀客在座，李氏和他的賓客對孔融的這一番話都很驚奇。

其中有一個中大夫陳韙，恰恰后到，在座的賓客將孔融的話告訴他后，他隨口說道：“小時了了，大未必佳。”聰明的孔融立即反駁地道：“我想陳大夫小的時候，一定是很聰明的。”陳韙給孔融一句話難住了，半天說不出話來（見“世說新語”）。

后來的人便引用這段故事中的兩句話，將“小時了了”引成成語，來說明小孩子從小便生性聰明，懂得的事情很多。但因為下文有“大未必佳”一語，故這句成語的意思便變成了：小時雖然很聰明，一到長大了卻未必能夠成材的。故表面上雖是贊揚的話，骨子里卻是譏誚人、輕蔑人的。所以我們應用時便不能將它來稱贊別人，否則將被人誤解你有心譏剌、輕視人了。

一個小孩子，先天的聰明自然是好的，但若無后天的培養和努力，也會變成一塊無用的材料；很多人自恃生性聰明，不肯好好學習，聰明反被聰明誤，長大后反會變成最無用之人。