刘知古，道士出身，其先世在彭城沛人，有显达的家族背景。曾祖英在隋朝时以孝廉登科，历任官职，因此家谱有临邛之地的分支。母亲吴氏因感异梦而生刘知古，从小就聪明过人，长大后修行于道教，对丹经脉訣、煉藥等都了如指掌。
唐高宗龙朔年间，他被召入宫中，因其治病手法独到，被授予内史田思崇醮二十四位真仙。他对医术和药物有着深刻的理解，不仅能治疗各种疾病，还能用色代替脉，用气去痾，因此受到了皇帝的重视。
他还曾与张说共同设立三教观，并写下《三教銘》，赞美道、儒、释三家的精髓。在天宝十九年，他被命兼任内史田思崇醮二十四位真仙，并将自己的居所改为大千秋观。他的碑文由李邕书写，传颂了一代。
刘知古不仅在医学上有成就，在神秘学上也有一定的造诣。他曾得到一根黄金石，一旦敲击，就会出现巨大的声音，这是他修炼中的一个奇迹。此外，他还拥有神虎宝经、高奔上道之要等秘籍，是一位具有多方面知识和能力的人物。