backpropagation - Momentum in neural networks -

-

तंत्रिका नेटवर्क और गति

क्या गति कारक प्राथमिकता [दोनों डाटासेट उदाहरण और व्यक्ति से संबंधित हैं] वज़न] या [केवल वज़न] ईजी: 

  def get_momentum (उदाहरण, वजन): वापस फ्लोट आवृत्ति 1 = वेक्टर 1xn उदाहरण 2 = वेक्टर 1xn वजन = वेक्टर 1xn # विकल्प 1 मिलते हैं_मॉमेंटम (उदाहरण 1, वजन [0]) # उदा रिटर्न 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.3 & lt; - वही वजन, अलग गति # विकल्प 2 get_mementum (उदाहरण 1, वजन [0]) # उदा 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.1   
 दूसरा विकल्प कम स्मृति की जटिलता होती। मेरा मानना ​​है कि इससे सीखने के एल्गोरिथ्म को भी पहले विकल्प की तुलना में स्थानीय ऑप्टिमा में फंसने की अधिक संभावना होगी। विकल्प 1 को एक मजबूत गति "पुल" होना चाहिए   
 
 
 परीक्षण किया गया  
 मैंने अपनी परिकल्पना के कुछ परीक्षण किए हैं दोनों दृष्टिकोण लगभग समान दिखते हैं, लेकिन पहले विकल्प का उपयोग करके एक स्पष्ट सुधार है।  
 गति डेटा संरचना की मेमोरी की जटिलता:  
     
  •  दृष्टिकोण 1:  हे (उदाहरण * वजन)   
  •  दृष्टिकोण 2 :  ओ (वज़न)    
     परिणाम:  
      प्रत्येक दौर एक पूर्वनिर्धारित वजन सेट का उपयोग करता है। दोनों संस्करणों को उसी वज़न सेट पर प्रशिक्षित किया गया था।   
      $ pypy backprop.py # पहले दृष्टिकोण गोल: 1/10 आवश्यक युग: 40995 गोल: 2/10 आवश्यक युग: 40997 दौर: 3/10 आवश्यक युग: 40996 दौर: 4/10 आवश्यक युग: 40997 दौर: 5/10 आवश्यक युग: 40997 दौर: 6/10 आवश्यक युग: 40997 दौर: 7/10 आवश्यक युग: 40999 दौर: 8/10 आवश्यक युग: 40996 दौर: 9/10 आवश्यक युग: 40996 दौर: 10/10 आवश्यक युग: 40997 $ pypy backprop.py # दूसरा दृष्टिकोण गोल: 1/10 आवश्यक युग: 41070 दौर: 2/10 आवश्यक युग: 41072 राउंड: 3/10 आवश्यक युग: 41069 दौर: 4/10 आवश्यक युग: 41069 दौर: 5/10 आवश्यक युग: 41070 दौर: 6/10 आवश्यक युग: 41071 दौर: 7/10 आवश्यक युग: 41072 गोल: 8/10 आवश्यक युग : 41069 राउंड: 9/10 आवश्यक युग: 41070 दौर: 10/10 आवश्यक युग: 41071   
     जैसा कि हम परीक्षणों से पढ़ सकते हैं, दूसरा दृष्टिकोण (जिसकी कम स्मृति जटिलता है) की आवश्यकता है रीक से पहले प्रशिक्षण के कुछ और युग आवश्यक परिशुद्धता के हिंग  
     निष्कर्ष  
     मामूली प्रशिक्षण सुधार की तुलना में बढ़ी हुई स्मृति जटिलता एक योग्य त्याग नहीं हो सकती है।

Comments

Post a Comment

Popular posts from this blog

c# - The item with identity 'Id' already exists in the metadata collection. Parameter name: item -

-
मेरी सभी संस्थाओं का आधार वर्ग है: सार्वजनिक वर्ग इकाई & lt; TKey & gt; : आईएरिटीटी & lt; टीके & gt; {गतिशील आईईआरटीईटी.आईडी {प्राप्त करें} इस आईआईडी; } सेट {this.Id = मान; }} सार्वजनिक TKey Id {get; सेट; }} उदाहरण के लिए स्थिति इकाई: [मेटाडाटा टाइप (टाइपफ (स्टेटसमैटडेटा))] सार्वजनिक आंशिक श्रेणी की स्थिति: इकाई & lt; बाइट & gt; {सार्वजनिक स्ट्रिंग शीर्षक {प्राप्त करें; सेट; }} जब मैं डेटाबेस के विरुद्ध क्वेरी चलाऊँगा तो मुझे निम्न त्रुटि मिलती है: "पहचान 'आईडी वाला आइटम पहले से ही मेटाडेटा संग्रह में मौजूद है। पैरामीटर का नाम: आइटम" क्या यह तय करने का कोई तरीका है या यह किसी वारसा के कारण हुई समस्या है और मैं किसी भी वर्ग से अपनी संस्थाओं का वारिस नहीं कर सकता हूं? यह एक सामान्य त्रुटि है, कुछ जानकारी के लिए खोज करते हुए, मैंने देखा कि: दो तालिकाओं को एक प्राथमिक कुंजी के लिए एक ही नाम हो सकता है लाइटस्विच टेबल्स को देखो, उन सभी को एक प्राथमिक कुंजी है जिन्हें आईडी कहा जाता है। इसलिए, मैं सभी संस्थाओं की समीक्षा करता ह...
Read more

sql - PostgreSQL automatically update row at specific date -

-
Once I update one line, I want to reach the specific timestamp in that line. For example, there are deals in an auction site which ends in one day. After that time the deal ends automatically. Is there a feature in PostGrace SQL, where I can set a line to automatically update when it reaches a specific time period? Otherwise how do I apply this example bargain feature? One view can work for it Suppose a table T Create table T (deal_ID integer, deal_time timestamp, end time interval); Enter T (deal_id, deal_start, expiry_time) values ​​(1, now (), '1 day'); If this deal is over, then a view will be Caletrack Select View vs. *, now ()> At the end of T, deal_start + expiry_time; Choose from V * Deal_id Deal_start | Expiry_time | Ended --------- + ---------------------------- + -------- - --- + --------- 1 | 2014-04-22 13: 26: 32.319394 | 1 day | F
Read more

jsp - No mapping found for HTTP request with URI with annotation config Spring MVC and Jetty -

-
Image
I'm only using annotation configuration, the server starts, but when I use some pages error is displayed: Warning: no mapping found for HTTP request with URI [/WEB-INF/view/main.jsp] name 'org.springframework.web.servlet.DispatcherServlet -D7259e with DispatcherServlet in Controller mapping works fine, but no JSP page is full. I am using Jetty 9.2.0.M0 and Spring MVC 4.0.4 release. JetTyP Config: Private Static Last String CONTEXT_PATH = "/"; Private Static Last String MAPPING_URL = "/ *"; Private Zero Server (Int port) throws exceptions {server server = new server (port); Server.addLifeCycleListener (New LifeCycleListener ()); Server.setHandler (getServletContextHandler (getContext ())); Server.start (); Server.join (); } Private static ServletContextHandler getServletContextHandler (WebApplicationContext context) throws IOException {LOGGER.info ( "ServletContextHandler is ready"); CircleContaxHandler themeHandler = new circactont...
Read more