backpropagation - Momentum in neural networks -

-

तंत्रिका नेटवर्क और गति

क्या गति कारक प्राथमिकता [दोनों डाटासेट उदाहरण और व्यक्ति से संबंधित हैं] वज़न] या [केवल वज़न] ईजी: 

  def get_momentum (उदाहरण, वजन): वापस फ्लोट आवृत्ति 1 = वेक्टर 1xn उदाहरण 2 = वेक्टर 1xn वजन = वेक्टर 1xn # विकल्प 1 मिलते हैं_मॉमेंटम (उदाहरण 1, वजन [0]) # उदा रिटर्न 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.3 & lt; - वही वजन, अलग गति # विकल्प 2 get_mementum (उदाहरण 1, वजन [0]) # उदा 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.1   
 दूसरा विकल्प कम स्मृति की जटिलता होती। मेरा मानना ​​है कि इससे सीखने के एल्गोरिथ्म को भी पहले विकल्प की तुलना में स्थानीय ऑप्टिमा में फंसने की अधिक संभावना होगी। विकल्प 1 को एक मजबूत गति "पुल" होना चाहिए   
 
 
 परीक्षण किया गया  
 मैंने अपनी परिकल्पना के कुछ परीक्षण किए हैं दोनों दृष्टिकोण लगभग समान दिखते हैं, लेकिन पहले विकल्प का उपयोग करके एक स्पष्ट सुधार है।  
 गति डेटा संरचना की मेमोरी की जटिलता:  
     
  •  दृष्टिकोण 1:  हे (उदाहरण * वजन)   
  •  दृष्टिकोण 2 :  ओ (वज़न)    
     परिणाम:  
      प्रत्येक दौर एक पूर्वनिर्धारित वजन सेट का उपयोग करता है। दोनों संस्करणों को उसी वज़न सेट पर प्रशिक्षित किया गया था।   
      $ pypy backprop.py # पहले दृष्टिकोण गोल: 1/10 आवश्यक युग: 40995 गोल: 2/10 आवश्यक युग: 40997 दौर: 3/10 आवश्यक युग: 40996 दौर: 4/10 आवश्यक युग: 40997 दौर: 5/10 आवश्यक युग: 40997 दौर: 6/10 आवश्यक युग: 40997 दौर: 7/10 आवश्यक युग: 40999 दौर: 8/10 आवश्यक युग: 40996 दौर: 9/10 आवश्यक युग: 40996 दौर: 10/10 आवश्यक युग: 40997 $ pypy backprop.py # दूसरा दृष्टिकोण गोल: 1/10 आवश्यक युग: 41070 दौर: 2/10 आवश्यक युग: 41072 राउंड: 3/10 आवश्यक युग: 41069 दौर: 4/10 आवश्यक युग: 41069 दौर: 5/10 आवश्यक युग: 41070 दौर: 6/10 आवश्यक युग: 41071 दौर: 7/10 आवश्यक युग: 41072 गोल: 8/10 आवश्यक युग : 41069 राउंड: 9/10 आवश्यक युग: 41070 दौर: 10/10 आवश्यक युग: 41071   
     जैसा कि हम परीक्षणों से पढ़ सकते हैं, दूसरा दृष्टिकोण (जिसकी कम स्मृति जटिलता है) की आवश्यकता है रीक से पहले प्रशिक्षण के कुछ और युग आवश्यक परिशुद्धता के हिंग  
     निष्कर्ष  
     मामूली प्रशिक्षण सुधार की तुलना में बढ़ी हुई स्मृति जटिलता एक योग्य त्याग नहीं हो सकती है।

Comments

Post a Comment

Popular posts from this blog

asp.net - Procedure or function "Procedure name" expects a parameter "Param name" which was not supplied occurs rarely -

-
I have a VB Net has a web service function that will send criteria to an SQL server stored function. Everything works perfectly for two months in the deployment machine. but now error The process or function GetEmployeeDetails is expected to have a parameter @progress which was not supplied 'P> posted on the machine Just came once. Everything works fine before and after the error. Web service code: public function GetLocation (ByVal as the oldNumber integer, ByVal integer as NewNumber, ByVal as the location string, Byval progress form In the form of a string, byVal name as string, byVal ID as string, try the string as Command1 = New SqlCommand ("GetEmployeeDetails" Connection1) with Command1. CommonType = CommandType Stored Surechers Parameter.ed ("@ old number", SQLDB type.int). Value = old number. Parameter.ed ("New Numer", SQLDB type.ins). Value = Newamer. Parameter. Add ("@Space", SQLBT Ype.VarChar, 10). Value = loc...
Read more

c# - The item with identity 'Id' already exists in the metadata collection. Parameter name: item -

-
मेरी सभी संस्थाओं का आधार वर्ग है: सार्वजनिक वर्ग इकाई & lt; TKey & gt; : आईएरिटीटी & lt; टीके & gt; {गतिशील आईईआरटीईटी.आईडी {प्राप्त करें} इस आईआईडी; } सेट {this.Id = मान; }} सार्वजनिक TKey Id {get; सेट; }} उदाहरण के लिए स्थिति इकाई: [मेटाडाटा टाइप (टाइपफ (स्टेटसमैटडेटा))] सार्वजनिक आंशिक श्रेणी की स्थिति: इकाई & lt; बाइट & gt; {सार्वजनिक स्ट्रिंग शीर्षक {प्राप्त करें; सेट; }} जब मैं डेटाबेस के विरुद्ध क्वेरी चलाऊँगा तो मुझे निम्न त्रुटि मिलती है: "पहचान 'आईडी वाला आइटम पहले से ही मेटाडेटा संग्रह में मौजूद है। पैरामीटर का नाम: आइटम" क्या यह तय करने का कोई तरीका है या यह किसी वारसा के कारण हुई समस्या है और मैं किसी भी वर्ग से अपनी संस्थाओं का वारिस नहीं कर सकता हूं? यह एक सामान्य त्रुटि है, कुछ जानकारी के लिए खोज करते हुए, मैंने देखा कि: दो तालिकाओं को एक प्राथमिक कुंजी के लिए एक ही नाम हो सकता है लाइटस्विच टेबल्स को देखो, उन सभी को एक प्राथमिक कुंजी है जिन्हें आईडी कहा जाता है। इसलिए, मैं सभी संस्थाओं की समीक्षा करता ह...
Read more

c++ - Redefined variable in the other module -

-
Why do we redefine the variable in other modules, so it is OK to add this module together? I have written two modules main.cpp and module.cpp as the following: // - main.cpp-- // # include & lt; Stdio.h & gt; Int main () {int i = 5; Printf ("I value is% d", i); } and // - module.cpp - // int i = 7; I am now compiling and adding g ++ as the following: g ++ -c main .cpp g ++ - c module. cao g ++ - o bin main.o module.o and it's okay. But I hope the compilation will be successful, while the linker will throw an exception like redefining varaible when I'm running .bin output then the value of i is 5 . UPD: I understand that if we use I as global variable module main.cpp that linker will throw an error. The main variable in the function is a local variable of i function. It is not visible and is present outside the function is. Consider the following example #include & lt; Iostream & gt; Int i = 3; Int main (...
Read more