IA聊天机器人通常看起来很自信，但他们并不总是有具体的知识。卡内基·梅隆大学（Carnegie Mellon University）的一项新研究表明，诸如Chatgpt，Bard / Gemini，Sonnet和Haiku之类的出色语言模型即使在犯了错误之后也不断高估其表现。与模型一起测试的人类在效果不佳之后调整了信心，但是AI系统变得更加自信。在一次图像风格的试验中，双子座正确地确定了二十个草图中的少于一个，但认为他已经正确地做出了14个。研究以前两年进行了研究，这引起了人们对缺乏自我意识以及信任不合理确定性的风险的担忧。专家建议用户批判性地评估聊天机器人的响应和开发人员，以改进内省。
