backpropagation - Momentum in neural networks -

-

तंत्रिका नेटवर्क और गति

क्या गति कारक प्राथमिकता [दोनों डाटासेट उदाहरण और व्यक्ति से संबंधित हैं] वज़न] या [केवल वज़न] ईजी: 

  def get_momentum (उदाहरण, वजन): वापस फ्लोट आवृत्ति 1 = वेक्टर 1xn उदाहरण 2 = वेक्टर 1xn वजन = वेक्टर 1xn # विकल्प 1 मिलते हैं_मॉमेंटम (उदाहरण 1, वजन [0]) # उदा रिटर्न 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.3 & lt; - वही वजन, अलग गति # विकल्प 2 get_mementum (उदाहरण 1, वजन [0]) # उदा 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.1   
 दूसरा विकल्प कम स्मृति की जटिलता होती। मेरा मानना ​​है कि इससे सीखने के एल्गोरिथ्म को भी पहले विकल्प की तुलना में स्थानीय ऑप्टिमा में फंसने की अधिक संभावना होगी। विकल्प 1 को एक मजबूत गति "पुल" होना चाहिए   
 
 
 परीक्षण किया गया  
 मैंने अपनी परिकल्पना के कुछ परीक्षण किए हैं दोनों दृष्टिकोण लगभग समान दिखते हैं, लेकिन पहले विकल्प का उपयोग करके एक स्पष्ट सुधार है।  
 गति डेटा संरचना की मेमोरी की जटिलता:  
     
  •  दृष्टिकोण 1:  हे (उदाहरण * वजन)   
  •  दृष्टिकोण 2 :  ओ (वज़न)    
     परिणाम:  
      प्रत्येक दौर एक पूर्वनिर्धारित वजन सेट का उपयोग करता है। दोनों संस्करणों को उसी वज़न सेट पर प्रशिक्षित किया गया था।   
      $ pypy backprop.py # पहले दृष्टिकोण गोल: 1/10 आवश्यक युग: 40995 गोल: 2/10 आवश्यक युग: 40997 दौर: 3/10 आवश्यक युग: 40996 दौर: 4/10 आवश्यक युग: 40997 दौर: 5/10 आवश्यक युग: 40997 दौर: 6/10 आवश्यक युग: 40997 दौर: 7/10 आवश्यक युग: 40999 दौर: 8/10 आवश्यक युग: 40996 दौर: 9/10 आवश्यक युग: 40996 दौर: 10/10 आवश्यक युग: 40997 $ pypy backprop.py # दूसरा दृष्टिकोण गोल: 1/10 आवश्यक युग: 41070 दौर: 2/10 आवश्यक युग: 41072 राउंड: 3/10 आवश्यक युग: 41069 दौर: 4/10 आवश्यक युग: 41069 दौर: 5/10 आवश्यक युग: 41070 दौर: 6/10 आवश्यक युग: 41071 दौर: 7/10 आवश्यक युग: 41072 गोल: 8/10 आवश्यक युग : 41069 राउंड: 9/10 आवश्यक युग: 41070 दौर: 10/10 आवश्यक युग: 41071   
     जैसा कि हम परीक्षणों से पढ़ सकते हैं, दूसरा दृष्टिकोण (जिसकी कम स्मृति जटिलता है) की आवश्यकता है रीक से पहले प्रशिक्षण के कुछ और युग आवश्यक परिशुद्धता के हिंग  
     निष्कर्ष  
     मामूली प्रशिक्षण सुधार की तुलना में बढ़ी हुई स्मृति जटिलता एक योग्य त्याग नहीं हो सकती है।

Comments

Post a Comment

Popular posts from this blog

c# - Roxy file manager in MVC doesn't accept session path -

-
Hi friends I've downloaded a file manager for my MVC project. So I added to my project and everything works fine but everyone can use this product I mean everyone can type urls and upload files to my host !!!! This filemanager has a Jason config file, as you can see here: {"FILES_ROOT": "Fileman / Upload "," "File_type_kenny": "file", "THUMBS_VIEW_WIDTH": "140", "THUMBS_VIEW_HEIGHT": "120", "PREVIEW_THUMB_WIDTH": "300", "PREVIEW_THUMB_HEIGHT": "200", "MAX_IMAGE_WIDTH": "0" "ASP_net / Main.Shex? A = Created", " Dealederer ":" ASP_net / MAN.assx "ADELEDED IR "," MOVEDIR ":" ASP_net / Main.Shex? A = MoVEDIR "," Copdier ":" ASP_net / Main.Shex? A = Copdier "," Richie Dar ":" ASP_net / Main ASP_net / main.hex? A = Upload "," Downlo...
Read more

jsp - No mapping found for HTTP request with URI with annotation config Spring MVC and Jetty -

-
Image
I'm only using annotation configuration, the server starts, but when I use some pages error is displayed: Warning: no mapping found for HTTP request with URI [/WEB-INF/view/main.jsp] name 'org.springframework.web.servlet.DispatcherServlet -D7259e with DispatcherServlet in Controller mapping works fine, but no JSP page is full. I am using Jetty 9.2.0.M0 and Spring MVC 4.0.4 release. JetTyP Config: Private Static Last String CONTEXT_PATH = "/"; Private Static Last String MAPPING_URL = "/ *"; Private Zero Server (Int port) throws exceptions {server server = new server (port); Server.addLifeCycleListener (New LifeCycleListener ()); Server.setHandler (getServletContextHandler (getContext ())); Server.start (); Server.join (); } Private static ServletContextHandler getServletContextHandler (WebApplicationContext context) throws IOException {LOGGER.info ( "ServletContextHandler is ready"); CircleContaxHandler themeHandler = new circactont...
Read more

java - Ajax call to jsp and jsp redirecting to further jsp -

-
I am getting an Ajax call on a jsp page which in turn is redirecting based on the value of a flag variable JSP file. The AJAX call is something like this: $ Ajax ({url: 'uploadwebcamimage.jsp', type: "post", data: {encodeimg: dataUrl, OwnerId: document.Clickpictures.OwnerId.value, OwnerPhone: document.Clickpictures.OwnerPhone.value, mobilepass: document.Clickpictures. Mobilepass.value, emailpass: document.Clickpictures.emailpass.value, mypassword: document.Clickpictures.mypassword.value, mygroupuserid: document.Clickpictures.mygroupuserid.value}, error: work () {warning ('error');} success : Function (msg) {// warning ((msg)); if (msg) indexOf ("true")> = 0) {// how grouplist location.href = "site_index_groupadmin.jsp res1 =?" + to get the grouplist;} else {warning ("unsuccessful");}}}); And in jsp I have done something like this: & lt;% ArrayList & lt; String & gt; List = New Arrestist & lt; Stri...
Read more