ប្រាសាទស្រះខ្មៅ ស្ថិតនៅលើជួរភ្នំមួយដែលរត់ជួរតាំងពីភ្នំចំប៉ា ភ្នំស្រួច ភ្នំសន្ទុក ភ្នំភ្លើង ភ្នំពែន។ល។ ភ្នំនេះ មានរឿងព្រេងនិទានថា កាលពីបុរាណភ្នំស្រះខ្មៅ មានឈ្មោះថា "ភ្នំតូច" ឯភ្នំ សន្ទុកមានឈ្មោះថា “ភ្នំធំ"។ ក្រោយមានស្ដេចមួយអង្គទ្រង់ត្រាស់បង្គាប់ឱ្យពលសេនាជីកស្រះយកទឹកប្រើប្រាស់ និងយកខ្ចៅ ខ្យង គ្រំចិញ្ចឹមក្នុងស្រះនេះដើម្បីធ្វើឱ្យទឹកថ្លាសម្រាប់ប្រើប្រាស់ជាប្រចាំ។ ក្រោយមកស្រាប់តែកើតខ្មៅនៅពេញស្រះ ទោះបីជានាហ្មឺនមន្ត្រីចាប់យកទៅធ្វើម្ហូបយ៉ាងណាក៍ មិនចេះអស់ របូតជាប់ឈ្មោះភ្នំនេះថា "ភ្នំស្រះខ្មៅ" រហូតមកដល់ពេលនេះ។ លុះមកដល់ស.វ. ទី៨ មានព្រះមហាក្សត្រមួយអង្គបានកសាងប្រាសាទមួយនៅលើភ្នំនេះដោយមានប្រាសាទធំនៅចំកណ្ដាល និងប្រាសាទតូចៗចំនួនបួនសង់នៅគ្រប់ជ្រុង។ ប្រាសាទស្រះខ្មៅសព្វថ្ងៃ បានបាក់បែកទាំងស្រុងអស់ទៅហើយ នៅសល់តែទួលគរដោយ ពំនូកឥដ្ឋជាច្រើន ហើយអ្នកស្រុកបានរៀបជាសាឡុំនៅពីលើទួល។ នៅប្រាសាទស្រះខ្មៅ មាននៅសេសសល់វត្ថុសិល្បៈ អំពីថ្មភក់ច្រើនណាស់។ ផ្តែរទ្វារ នៅទីនេះ មានចំនួនពីរ ដែលមានសម័យកាលផ្សេងៗគ្នា គឺក្នុងសិល្បៈចុងរចនាបថព្រៃក្មេងនិងនៅស.វ.ទី១០ រចនាបថប្រែរូប។ អ្វីដែលពិសេសនៅទីនេះ មានគោលចារឹកមួយផ្ទាំង មានបីជ្រុងមានសំណេរចំនួនពីរសម័យកាលផ្សេងៗគ្នា ពោលគឺផ្ទាំងខាងមុខជាអក្សរចារឹកសម័យមុនអង្គរ ក្នុងរវាងស.វ.ទី៧ ហើយអក្សរនៅសងខាងជាសំណេរនៅសម័យអង្គររវាងចុងស.វ.ទី១០។ នៅចម្ងាយប្រមាណ ៣០០ម៉ែត្រពីទីនេះ មានស្រះបុរាណ ដែលមានឈ្មោះថា ស្រះខ្ចៅ ហើយនៅជិតទីនោះក៏មានកសាងជាវត្តមួយផងដែរ។