就在ChatGPT首次亮相的几周后，以色列网络安全公司Check Point ChatGPT与OpenAI的代码编写系统Codex协同使用时，可以创建携带恶意有效载荷的钓鱼邮件，也就是说，ChatGPT "有可能大大改变网络威胁格局，在日益复杂和有效的网络能力的危险演变中又向前迈出了一步。
Check Point Research（CPR）的网络安全研究人员观察到，网络犯罪分子正在使用ChatGPT来迭代或者从头开始构建恶意软件和勒索软件。Check Point Research提到，他们在地下黑客论坛上发现了许多网络犯罪分子在 ChatGPT 的帮助下，研究如何创建信息窃取程序、加密工具和其他恶意软件。
一些Cracker(骇客）本来只是编程世界的新手，但是，加持强大的工具，他们的力量会瞬间被增强。 例如： 专家对脚本进行了分析，也确实证实了网络犯罪分子的说法。里面确实存在恶意窃取软件，它可以在整个系统中搜索常见的文件类型（如MS Office文档、PDF和图像）。如果发现任何感兴趣的文件，该恶意软件会将文件复制到一个临时目录，将其压缩，并通过网络发送出去。 使用ChatGPT聊天机器人生成看起来合法的钓鱼邮件也是可行的，如果你首次要求ChatGPT制作钓鱼邮件时，聊天机器人拒绝了这个请求——并提示：我的程序不是用来创建或推广恶意或有害内容的，但是，只要稍微改写一下请求，就可以绕过软件的警示。 许多安全专家认为，ChatGPT有能力编写钓鱼邮件，这样一来，它就会受到网络犯罪分子的广泛欢迎，特别是那些英语非母语的犯罪分子。Sophos公司首席研究科学家Chester Wisniewski认为，ChatGPT很轻易就能被用于 "各类社工活动”...已经能够用ChatGPT写出一些很好的钓鱼软件，我预计它还可以被用来进行更真实的互动对话，用于商业电子邮件诈骗，甚至通过Facebook Messenger、WhatsApp或其他聊天应用程序进行钓鱼活动。 ChatGPT的假装实力很难被揭穿，可以增强网络犯罪分子的力量。 比如说，犯罪分子正在迅速研究新方法，使用生成式人工智能，对目前的欺诈手段进行改进，特别是通过生成式人工智能能够在大量数据中迅速学习的能力。特别是，在这样的骗局中，生成式人工智能可以用来直接提高诈骗文本或电子邮件的质量，使这些内容看起来更加具备迷惑性。 英伟达Nvidia的CSO（首席安全官）David Reber提出，生成式AI会给网络安全带来更大的麻烦，比如说，恶意黑客能够通过生成式人工智能来生成大量恶意代码，而随着人工智能技术的进步，进行网络安全攻击的速度和复杂，会超过了人类的能力，并且，这种容易上手的技术，会让网络安全攻击的能力进一步普及，曾经的攻击行为，受限于技术知识和限定的时间、地点，而ChatGPT有可能消除这一限制因素。 根据新闻报道，OpenAI在11月推出的机器人ChatGPT，引起了美国国防官员的注意，而生成式人工智能，最近被列入了美国国防信息系统局的观察名单（Defense Information Systems Agency watch list）CTO Stephen Wallace表示，他们正在开始研究，生成式人工智能，究竟会如何改变DISA在该部门的任务，以及未来的方向，而美国安全中心的技术和国家安全副研究员Bill Drexel也跟公众提出了他对这项新技术的担忧。