backpropagation - Momentum in neural networks -

-

तंत्रिका नेटवर्क और गति

क्या गति कारक प्राथमिकता [दोनों डाटासेट उदाहरण और व्यक्ति से संबंधित हैं] वज़न] या [केवल वज़न] ईजी: 

  def get_momentum (उदाहरण, वजन): वापस फ्लोट आवृत्ति 1 = वेक्टर 1xn उदाहरण 2 = वेक्टर 1xn वजन = वेक्टर 1xn # विकल्प 1 मिलते हैं_मॉमेंटम (उदाहरण 1, वजन [0]) # उदा रिटर्न 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.3 & lt; - वही वजन, अलग गति # विकल्प 2 get_mementum (उदाहरण 1, वजन [0]) # उदा 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.1   
 दूसरा विकल्प कम स्मृति की जटिलता होती। मेरा मानना ​​है कि इससे सीखने के एल्गोरिथ्म को भी पहले विकल्प की तुलना में स्थानीय ऑप्टिमा में फंसने की अधिक संभावना होगी। विकल्प 1 को एक मजबूत गति "पुल" होना चाहिए   
 
 
 परीक्षण किया गया  
 मैंने अपनी परिकल्पना के कुछ परीक्षण किए हैं दोनों दृष्टिकोण लगभग समान दिखते हैं, लेकिन पहले विकल्प का उपयोग करके एक स्पष्ट सुधार है।  
 गति डेटा संरचना की मेमोरी की जटिलता:  
     
  •  दृष्टिकोण 1:  हे (उदाहरण * वजन)   
  •  दृष्टिकोण 2 :  ओ (वज़न)    
     परिणाम:  
      प्रत्येक दौर एक पूर्वनिर्धारित वजन सेट का उपयोग करता है। दोनों संस्करणों को उसी वज़न सेट पर प्रशिक्षित किया गया था।   
      $ pypy backprop.py # पहले दृष्टिकोण गोल: 1/10 आवश्यक युग: 40995 गोल: 2/10 आवश्यक युग: 40997 दौर: 3/10 आवश्यक युग: 40996 दौर: 4/10 आवश्यक युग: 40997 दौर: 5/10 आवश्यक युग: 40997 दौर: 6/10 आवश्यक युग: 40997 दौर: 7/10 आवश्यक युग: 40999 दौर: 8/10 आवश्यक युग: 40996 दौर: 9/10 आवश्यक युग: 40996 दौर: 10/10 आवश्यक युग: 40997 $ pypy backprop.py # दूसरा दृष्टिकोण गोल: 1/10 आवश्यक युग: 41070 दौर: 2/10 आवश्यक युग: 41072 राउंड: 3/10 आवश्यक युग: 41069 दौर: 4/10 आवश्यक युग: 41069 दौर: 5/10 आवश्यक युग: 41070 दौर: 6/10 आवश्यक युग: 41071 दौर: 7/10 आवश्यक युग: 41072 गोल: 8/10 आवश्यक युग : 41069 राउंड: 9/10 आवश्यक युग: 41070 दौर: 10/10 आवश्यक युग: 41071   
     जैसा कि हम परीक्षणों से पढ़ सकते हैं, दूसरा दृष्टिकोण (जिसकी कम स्मृति जटिलता है) की आवश्यकता है रीक से पहले प्रशिक्षण के कुछ और युग आवश्यक परिशुद्धता के हिंग  
     निष्कर्ष  
     मामूली प्रशिक्षण सुधार की तुलना में बढ़ी हुई स्मृति जटिलता एक योग्य त्याग नहीं हो सकती है।

Comments

Post a Comment

Popular posts from this blog

runtime error - Cannot find an overload for op_subtraction when subtracting datetime from datetime in powershell -

-
I can not get a surcharge for the error of op_subtraction error while running the code given below, Reporting that the second argument is invalid. The defective line is: if ($ - now - (non-job- $ $ job id.) PSBeginTime -gt [Timespain] :: From Minutes ($ KillTaskTimeMins) { (changed below for help with debugging) if (($ $ - $ when) -gt [Timespain]: : Minutes ($ killTaskTimeMins)) Full code: $ ($ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ throttle jobs are moving at any one time (@ (Get-jobs | object-object {$ _. state -akyu 'Running'}). Count-gate $ throttle) {start-Sleep- Millisecun $ $ Throttle Sleep MMS # Matter any work speculation, kill after X minutes = now $ = matching-date forwarding ($ job-in @ (Get-Job -State Running)) {# $ when = Coalesce (Get- Job -Id $ job.id) .PSBeginTime, $ now) is a custom task to make sure that it is not zero; but the writeer did not help to host, but it was not empty, however $$ = (Get-Job-$ job.id) was removed. PSBeginTime ...
Read more

javascript - Backbone pushState routes -

-
I want to change the hashtag on beautiful urls to deal with backlone.js pushstate. Using the localhost and the path to my script is http: //localhost/test/backbone/test.html . But every time the click is thrown at me localhost / login what am I doing? var AppRouter = backbone.rotter.ex ({route: {"login": "getPost", "* actions": "defaultRoute"}}); Var app_router = new appraiser; App_router.on ('Route: Receive Post', Function (ID) {Alerts ("Login");}); App_router.on ('route: defaultRoute', function (verb) {alert (verb);}); App_router.navigate ("/ login", {trigger: true}); Backbone.history.start ({PushState: true, root: '/ login /'}); You need to add: $ (Document)) .delegate ("a", "click", function (evt) {var href = $ (this) .attr ("href"); var protocol = this.protocol + "//"; if (href .slice (Protocol.length)! == Protocol & Protocol! == ...
Read more

jsp - No mapping found for HTTP request with URI with annotation config Spring MVC and Jetty -

-
Image
I'm only using annotation configuration, the server starts, but when I use some pages error is displayed: Warning: no mapping found for HTTP request with URI [/WEB-INF/view/main.jsp] name 'org.springframework.web.servlet.DispatcherServlet -D7259e with DispatcherServlet in Controller mapping works fine, but no JSP page is full. I am using Jetty 9.2.0.M0 and Spring MVC 4.0.4 release. JetTyP Config: Private Static Last String CONTEXT_PATH = "/"; Private Static Last String MAPPING_URL = "/ *"; Private Zero Server (Int port) throws exceptions {server server = new server (port); Server.addLifeCycleListener (New LifeCycleListener ()); Server.setHandler (getServletContextHandler (getContext ())); Server.start (); Server.join (); } Private static ServletContextHandler getServletContextHandler (WebApplicationContext context) throws IOException {LOGGER.info ( "ServletContextHandler is ready"); CircleContaxHandler themeHandler = new circactont...
Read more