การฝึกฝนโมเดลปัญญาประดิษฐ์ขนาดใหญ่ (Foundation Model) จากศูนย์มักถูกจำกัดอยู่เฉพาะในบริษัทเทคโนโลยียักษ์ใหญ่ เนื่องจากต้องใช้เงินทุนมหาศาลหลายล้านดอลลาร์และข้อมูลจำนวนมหาศาล ทว่าล่าสุด นักวิจัยจาก Sapient ได้พัฒนาแนวทางใหม่ที่ทลายขีดจำกัดนี้ด้วยงบประมาณเพียงประมาณ 1,500 ดอลลาร์สหรัฐเท่านั้น
ความสำเร็จนี้เกิดขึ้นจากการใช้สถาปัตยกรรมที่เรียกว่า HRM-Text (Hierarchical Recurrent Model) ซึ่งเข้ามาแทนที่โครงสร้าง Transformer แบบเดิม โดยสถาปัตยกรรม HRM จะแบ่งการประมวลผลออกเป็นสองชั้น คือชั้นกลยุทธ์และชั้นดำเนินการ ทำให้ระบบไม่ต้องสิ้นเปลืองพลังงานคำนวณในการคาดเดาคำถัดไปจากข้อมูลอินเทอร์เน็ตทั้งหมดแบบไร้ทิศทาง
โมเดล HRM-Text ขนาด 1 พันล้านพารามิเตอร์นี้ ถูกฝึกฝนโดยมุ่งเน้นไปที่คู่คำสั่งและคำตอบโดยตรง ซึ่งใกล้เคียงกับการใช้งานจริงในระดับองค์กร และผลลัพธ์ที่ได้ยังสามารถแข่งขันกับโมเดลแบบเปิดขนาดใหญ่กว่าได้อย่างมีประสิทธิภาพ ถือเป็นจุดเปลี่ยนสำคัญที่ช่วยให้องค์กรทั่วไปสามารถเข้าถึงการสร้าง AI ของตนเองได้โดยไม่ต้องมีทุนหนา
