หลังจากที่ Jacob Coxon นักวิจัยของ Anthropic ลาออกเพราะกังวลว่า AI อาจฆ่ามนุษย์ได้ภายในปี 2030 ผู้ก่อตั้ง AIUC อย่าง Rune Kvist และ Rajiv Dattani เชื่อว่าพวกเขามีทางออก Kvis เป็นอดีตพนักงานริษัท Anthropic และ Dattani เป็นอดีต COO ขององค์กรวิจัยความปลอดภัย AI METR ทั้งคู่เปิดตัวสตาร์ทอัพชื่อ Artificial Intelligence Underwriting Company (AIUC) โดยมีเป้าหมายนำความปลอดภัยแบบเดียวกับในโลกไซเบอร์มาประยุกต์ใช้กับ AI Agent
AIUC ได้พัฒนามาตรฐานที่เรียกว่า AIUC-1 และบริการทดสอบที่ใช้ชุดการทดสอบกว่า 5,000 รายการ เพื่อประเมินพฤติกรรมของ AI Agent ในสถานการณ์ต่างๆ เช่น การถูกแฮก (jailbreaks) การหลอน (hallucinations) และการรั่วไหลของข้อมูล ผลการทดสอบจะออกมาเป็นรายงานประมาณ 100 หน้า ระบุจุดที่ Agent ทำงานได้อย่างปลอดภัยและน่าเชื่อถือ และจุดที่ยังมีข้อกังวล สิ่งที่น่าสนใจคือ AIUC ใช้ AI Agent ในการรันการทดสอบและใช้ AI วิเคราะห์ข้อมูล แต่มนุษย์จะเป็นผู้ตรวจสอบผลการตรวจสอบขั้นสุดท้าย
ทำไมเรื่องนี้จึงสำคัญ
การนําโมเดลความปลอดภัยทางไซเบอร์มาใช้กับ AI Agent ช่วยให้ธนาคาร โรงพยาบาล รัฐบาล และกองทัพที่ลังเลในการปรับใช้ AI เนื่องจากไม่สามารถรับประกันพฤติกรรมของระบบได้ มีเครื่องมือตรวจสอบที่เป็นกลางและได้มาตรฐาน AIUC ทํางานร่วมกับผู้นําด้านความปลอดภัยและความเสี่ยงกว่า 250 คนเพื่อกําหนดเกณฑ์การทดสอบ ทําให้ผลการประเมินสะท้อนความต้องการของผู้ซื้อ Agent จริง สิ่งนี้มีความสําคัญเพราะความสามารถของ AI ที่เพิ่มขึ้นทําให้การควบคุมยากขึ้น ไม่ใช่ easier
มุมมอง Agent2Day
AIUC สร้างมาตรฐานตรวจสอบ AI Agent เสมือน SOC 2 ของวงการ ซึ่งน่าสนใจตรงที่ใช้ AI ตรวจสอบ AI แต่ยังคงพึ่งพามนุษย์ในการยืนยันผลสุดท้าย แนวทางนี้อาจเป็นจุดเริ่มต้นของการทําให้ความปลอดภัยของ Agent เป็นสิ่งที่ต้องมีก่อนนําไปใช้ในองค์กร แม้ว่าจะยังไม่ใช่การฝังตัวผู้ประเมินในไซต์ลูกค้าแบบที่ Dario Amodei เรียกร้อง แต่ก็เป็นก้าวสําคัญที่ทําให้การซื้อ Agent มีความโปร่งใสและน่าเชื่อถือมากขึ้น
เมื่อวันอังคารที่ผ่านมา AIUC ประกาศระดมทุน Series A มูลค่า 40 ล้านดอลลาร์ นำโดย Ribbit Capital ร่วมกับ First Harmonic โดยก่อนหน้านี้ปิดรอบ Seed 15 ล้านดอลลาร์จาก Nat Friedman ผ่านกองทุน NFDG, Emergence, Terrain และ Ben Mann ผู้ร่วมก่อตั้ง Anthropic รวมเป็นเงินทุนทั้งหมด 55 ล้านดอลลาร์ ลูกค้าปัจจุบันของ AIUC ได้แก่ Cursor, Lovable, Harvey และ ElevenLabs
Dattani กล่าวว่าแบบจำลองของ AIUC คล้ายกับแนวคิดที่ Dario Amodei CEO ของ Anthropic เสนอไว้เมื่อเร็วๆ นี้ นั่นคือการใช้ผู้ประเมินอิสระจากภายนอกเพื่อสังเกตและตรวจสอบความปลอดภัยของ AI แต่ AIUC ไม่ได้ฝังตัวเองในไซต์ลูกค้า แต่ให้การประเมินอิสระว่า Agent ปลอดภัยแค่ไหนก่อนที่องค์กรจะตัดสินใจซื้อ "นี่คือจุดที่มันผ่านและคุณสามารถเชื่อถือได้ และนี่คือจุดที่มีข้อกังวล คุณควรตระหนักถึงข้อมูลเหล่านั้นก่อนตัดสินใจซื้อ" เขากล่าว
