ក្រុមហ៊ុន Microsoft បានបញ្ចេញទំហំពីរនៃម៉ូដែល Orca 2 ប៉ារ៉ាម៉ែត្រ 7 ពាន់លាន និង 13 ពាន់លាន ដែលបង្កើតលើការងារដែលបានធ្វើនៅលើគំរូ Orca 13B ដើម ដើម្បីបង្ហាញពីសមត្ថភាពហេតុផលដ៏រឹងមាំ។

អ្នកស្រាវជ្រាវរបស់ Microsoft បាននិយាយនៅក្នុងការបង្ហោះប្លុករួមគ្នាថាជាមួយនឹង Orca 2 ពួកគេបន្តបង្ហាញថាការធ្វើឱ្យប្រសើរឡើងនូវសញ្ញា និងវិធីសាស្រ្តនៃការបណ្តុះបណ្តាលអាចផ្តល់អំណាចដល់គំរូ LLMs តូចៗ ដើម្បីសម្រេចបាននូវសមត្ថភាពសមហេតុផលដែលប្រសើរឡើងជាធម្មតាត្រូវបានរកឃើញតែនៅក្នុងគំរូធំៗ ប៉ុណ្ណោះ។

ក្រុមហ៊ុនមានប្រភពបើកចំហរសម្រាប់ម៉ូដែលថ្មីទាំងពីរសម្រាប់ការស្រាវជ្រាវបន្ថែមលើការអភិវឌ្ឍន៍ និងការវាយតម្លៃនៃម៉ូដែលតូចៗដែលអាចដំណើរការបានក៏ដូចជាម៉ូដែលធំជាង ដោយផ្តល់ឱ្យសហគ្រាសនូវធនធានមានកម្រិតនូវជម្រើសដ៏ប្រសើរមួយដើម្បីដោះស្រាយករណីប្រើប្រាស់ដែលបានកំណត់ដោយមិនចាំបាច់វិនិយោគច្រើនពេកក្នុងកុំព្យូទ័រ។

ការស្រាវជ្រាវរបស់ Microsoft បានដោះស្រាយគម្លាតនៃសមត្ថភាពវែកញែកនៃគំរូ LLMs តូចៗដោយការកែសម្រួលគំរូមូលដ្ឋាន Llama 2 យ៉ាងល្អិតល្អន់លើសំណុំទិន្នន័យសំយោគដែលសម្រិតសម្រាំងខ្ពស់។

អ្នកស្រាវជ្រាវបានបណ្ដុះបណ្ដាលគំរូតូចៗ ដើម្បីប្រើប្រាស់យុទ្ធសាស្ត្រដំណោះស្រាយផ្សេងៗគ្នាសម្រាប់កិច្ចការផ្សេងៗដែលមាននៅនឹងដៃ ជាជាងការចម្លងឥរិយាបថនៃគំរូដែលមានសមត្ថភាពជាងមុនតាមរយៈការរៀនធ្វើត្រាប់តាម។ ពួកគេមានគោលបំណងជួយគំរូរៀនដើម្បីកំណត់យុទ្ធសាស្ត្រដំណោះស្រាយដ៏មានប្រសិទ្ធភាពបំផុតសម្រាប់កិច្ចការនីមួយៗ ដោយបង្រៀនវាអំពីបច្ចេកទេសហេតុផលផ្សេងៗ និងពេលណាត្រូវប្រើវា។ ទិន្នន័យបណ្តុះបណ្តាលត្រូវបានទទួលបានពីគំរូគ្រូដែលមានសមត្ថភាពជាងមុន ដើម្បីបង្រៀនគំរូសិស្សអំពីរបៀបប្រើយុទ្ធសាស្ត្រវែកញែក និងពេលណាត្រូវប្រើវាសម្រាប់កិច្ចការដែលបានផ្តល់ឱ្យ។