旧金山市府律师邱信福（ David Chiu ）15召开媒体发布会，宣布对由人工智能（AI）非法生成情色照片的网站，提起全国首例诉讼。因这些网站在未经当事人同意的情况下，就将社交媒体上的私人照片，了裸体或是情色图像传播，以谋取营利或用于敲诈勒索。
邱信福办公室给出的案例表示，针对16 个访问量最大的网站提起诉讼。这些网站被指在用户未经同意的情况下，自动生成裸体图像，侵权范围从巨星泰勒丝（Taylor Swift）、好莱坞明星到高中生和中学生群体，如在2024 年 2 月，人工智能产生的 16 名8年级学生的裸照在加州1所中学内流传。
创建和传播非法人工智能生成的色情内容，伪造色情图像泛滥传播，均违反了加州和联邦法律。邱信福办公室指控网站运营商违反加州和联邦禁止伪造色情内容、复仇色情内容和儿童色情内容法。
邱信福表示，生成式人工智能有着巨大的前景。但与所有新技术一样，也会产生意想不到的后果，并且犯罪分子也会试图利用新技术。「民众必须非常清楚，这不是创新，是性虐待。我们办公室必须严厉打击所有利用人工智能剥削和侵犯个人权益的行为。」
因AI生成的这些图像与真实照片几乎没有区别，因此生成图像被用来勒索、霸凌、威胁和羞辱女性。联邦调查局警告，使用未经同意的人工智能生成的「色情内容勒索案件」有所增加。更糟糕的是，未经同意的伪造色情内容的受害者，在被伪造的肖像传播后，几乎没有途径辩解和维权。
被诉讼的 16 个访问量最大的网站，只 2024 年前六个月总造访量就超过 2亿次。旧金山市府律师办公室的诉讼指控他们行为违反了加州的「不正当竞争法」，并永久限制被告从事这一非法行为。诉讼还寻求民事处罚和赔偿诉讼费用等。
任何非自愿生成图像受害者或拥有相关资讯者，可通过投诉热线 (415) 554-3977 与市府律师办公室取得联系，维护自身正当权益。
