தல வரலாறு: சோழாந்தகன் என்ற பாண்டிய மன்னன் ஒரு சிவபக்தன். இவன் எப்போதும் சிவபூஜை செய்த பின்பு தான் சாப்பிடுவான். ஒரு முறை வேட்டையாட காட்டிற்குச் சென்ற அரசன் வேட்டையாடிய களைப்பால் நடு காட்டில் விழுந்து விட்டான். பயந்து போன இவனது பாதுகாப்பு வீரர்கள், மன்னனின் களைப்பு தீர உணவை அருந்த கூறினர். ஆனால் சிவபூஜை செய்யாமல் சாப்பிடமாட்டேன் என்பதை உறுதியாக தெரிவித்தான். புத்திசாலி அமைச்சர் ஒருத்தர், அந்த காட்டில் கிடைத்த மரத்துண்டு ஒன்றை எடுத்து தரையில் ஆப்பு அடித்தார். அதைக்காட்டி, "மன்னா, இங்கே ஒரு சுயம்பு லிங்கம் உள்ளது. நீங்கள் அதை பூஜை செய்த பின் உணவருந்தலாமே,"' என்று யோசனை கூறினார். களைப்பிலிருந்த மன்னனும் அந்த ஆப்பை சுயம்புலிங்கம் என நினைத்து வணங்கி உணவருந்தி விட்டான். களைப்பு நீங்கிய பிறகு தான், தாம் வணங்கியது லிங்கம் அல்ல, அது ஒர் ஆப்பு என்பதை உணர்ந்து மிக வருந்தினான். சிவபூஜை செய்யாமல் உணவருந்திய வருத்தத்தில் இறைவனிடம் தான் இதுநாள் வரை இறைவனை பூஜித்தது உணமையானால் இந்த ஆப்பில் வந்து என்னை அருள்பாலிக்க வேண்டும் என்று வேண்டினான். அப்படி இல்லாவிட்டால் உயிர் துறக்கவும் தயாரானான். மன்னனின் பக்திக்கு மகிழ்ந்த இறைவன் அந்த ஆப்பிலே தோன்றி அருள் பாலித்தார். சிவன் ஆப்பு உடையார் ஆனார். அந்த ஊர் ஆப்பனூர் ஆனது. கோவிலும் ஆப்புடையார் கோவில் என்று சிறப்புற்றது.
ஒருமுறை பாண்டிய நாட்டில் கடும் பஞ்சம் ஏற்பட்டது. மக்கள் உணவின்றி தவித்தனர். ஆப்புடையார் கோவில் அர்ச்சகர் சிவபூஜைக்காக சிறிது பயிர் செய்து நைவேத்யம் செய்து வந்தார். ஊர் மக்கள் உணவின்றி வாடும் போது இறைவனுக்கு நைவேத்யமா என்று சிலர் அர்ச்சகரை துன்புறுத்தினர். அர்ச்சகர் வருத்தப்பட்டு இறைவனிடம் முறையிட்டார். இறைவன் அசரீரியாக வைகை ஆற்று மணலை உலையிலிட்டு சமைக்கும் படியும் அது அன்னமாக மாறும் என்றும் அர்ச்சகரிடம் கூறினார். அர்ச்சகரும் அவ்வாறே செய்து ஊர் மக்களின் பசியைப் போக்கினார். இதனால் இத்தல இறைவனுக்கு "அன்னவிநோதன்" என்ற பெயர் ஏற்பட்டது.
கோவில் அமைப்பு: இவ்வாலயத்திற்கு கோபுரமில்லை. ஒரு முகப்பு வாயில் மட்டுமே உள்ளது. முகப்பு வாயிலின் மேற்புறத்தில் ரிசபாரூடராக சிவன், பார்வதி, முருகர் மற்றும் விநாயகர் சுதை வடிவில் காணப்படுகின்றனர். வாயில் வழியே உள்ளே நுழைந்தவுடன் காணப்படும் மண்டபத்தில் கொடிமரம், பலிபீடம், நந்தியைக் காணலாம். இறைவன் சந்நிதி கிழக்கு நோக்கி அமைந்துள்ளது. அம்பாள் சந்நிதிக்கும், சுவாமி சந்ந்திக்கும் இடையில் சுப்பிரமணியருக்கு சந்நிதி உள்ளது. இத்தகைய அமைப்பை சோமஸ்கந்த அமைப்பு என்பர். பிரகாரம் சுற்றி வரும்போது தலவிருடசம் வன்னி மரத்தடியில் விநாயகர் தரிசனம் தருகிறார். வள்ளி தெய்வானை அருகிலிருக்க முருகர் மயில் அமர்ந்து காட்சி தருகிறார்.
இத்தலத்தில் கல் சிற்பமாக நடராஜர், சிவகாமி, அருகில் மத்தளம் வாசிக்கும் நிலையில் நந்திதேவர் ஆகியோர் தனி சந்நிதியில் காட்சி கொடுக்கின்றனர். சிற்ப வேலைப்பாடுகள் நிறைந்த இந்த சிலாவுருவங்கள் இத்தலத்தின் சிறப்பம்சம். உற்சவர் நடராஜரும் சிவகாமியுடன் உள்ளார். மண்டபத்தில் உள்ள தூண்களில் அழகிய சிற்பங்கள் உள்ளன. நவக்கிரக சந்நிதியும் உள்ளது.
இத்தலத்திற்கான சம்பந்தரின் பதிகம் முதலாம் திருமுறையில் இடம் பெற்றுள்ளது. இப்பதிகத்தின் 2வது பாடலில் இறைவியை குரவங்கமழ் குழலாள் என்று குறிப்பிடுகிறார்.
குரவங் கமழ்குழலாள் குடிகொண்டு நின்று விண்ணோர்
விரவுந் திருமேனி விளங்கும் வளையெயிற்றின்
அரவம் அணிந்தானை அணியாப்பனூரானைப்
பரவும் மனமுடையார் வினைபற்று அறுப்பாரே.
ஆலயத்தின் முகப்பு வாயில்
சுவாமி சந்நிதி முன் நந்தி
சுவாமி சந்நிதி முன் மண்டபம்
வள்ளி தெய்வானையுடன் முருகர்
பிரகாரம்
தலவிருட்சம் வன்னி மரம்
கல் சிற்பம்
கல் சிற்பம்