backpropagation - Momentum in neural networks -

-

तंत्रिका नेटवर्क और गति

क्या गति कारक प्राथमिकता [दोनों डाटासेट उदाहरण और व्यक्ति से संबंधित हैं] वज़न] या [केवल वज़न] ईजी: 

  def get_momentum (उदाहरण, वजन): वापस फ्लोट आवृत्ति 1 = वेक्टर 1xn उदाहरण 2 = वेक्टर 1xn वजन = वेक्टर 1xn # विकल्प 1 मिलते हैं_मॉमेंटम (उदाहरण 1, वजन [0]) # उदा रिटर्न 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.3 & lt; - वही वजन, अलग गति # विकल्प 2 get_mementum (उदाहरण 1, वजन [0]) # उदा 0.1 get_momentum (उदाहरण 2, वजन [0]) # उदा रिटर्न 0.1   
 दूसरा विकल्प कम स्मृति की जटिलता होती। मेरा मानना ​​है कि इससे सीखने के एल्गोरिथ्म को भी पहले विकल्प की तुलना में स्थानीय ऑप्टिमा में फंसने की अधिक संभावना होगी। विकल्प 1 को एक मजबूत गति "पुल" होना चाहिए   
 
 
 परीक्षण किया गया  
 मैंने अपनी परिकल्पना के कुछ परीक्षण किए हैं दोनों दृष्टिकोण लगभग समान दिखते हैं, लेकिन पहले विकल्प का उपयोग करके एक स्पष्ट सुधार है।  
 गति डेटा संरचना की मेमोरी की जटिलता:  
     
  •  दृष्टिकोण 1:  हे (उदाहरण * वजन)   
  •  दृष्टिकोण 2 :  ओ (वज़न)    
     परिणाम:  
      प्रत्येक दौर एक पूर्वनिर्धारित वजन सेट का उपयोग करता है। दोनों संस्करणों को उसी वज़न सेट पर प्रशिक्षित किया गया था।   
      $ pypy backprop.py # पहले दृष्टिकोण गोल: 1/10 आवश्यक युग: 40995 गोल: 2/10 आवश्यक युग: 40997 दौर: 3/10 आवश्यक युग: 40996 दौर: 4/10 आवश्यक युग: 40997 दौर: 5/10 आवश्यक युग: 40997 दौर: 6/10 आवश्यक युग: 40997 दौर: 7/10 आवश्यक युग: 40999 दौर: 8/10 आवश्यक युग: 40996 दौर: 9/10 आवश्यक युग: 40996 दौर: 10/10 आवश्यक युग: 40997 $ pypy backprop.py # दूसरा दृष्टिकोण गोल: 1/10 आवश्यक युग: 41070 दौर: 2/10 आवश्यक युग: 41072 राउंड: 3/10 आवश्यक युग: 41069 दौर: 4/10 आवश्यक युग: 41069 दौर: 5/10 आवश्यक युग: 41070 दौर: 6/10 आवश्यक युग: 41071 दौर: 7/10 आवश्यक युग: 41072 गोल: 8/10 आवश्यक युग : 41069 राउंड: 9/10 आवश्यक युग: 41070 दौर: 10/10 आवश्यक युग: 41071   
     जैसा कि हम परीक्षणों से पढ़ सकते हैं, दूसरा दृष्टिकोण (जिसकी कम स्मृति जटिलता है) की आवश्यकता है रीक से पहले प्रशिक्षण के कुछ और युग आवश्यक परिशुद्धता के हिंग  
     निष्कर्ष  
     मामूली प्रशिक्षण सुधार की तुलना में बढ़ी हुई स्मृति जटिलता एक योग्य त्याग नहीं हो सकती है।

Comments

Post a Comment

Popular posts from this blog

asp.net - Procedure or function "Procedure name" expects a parameter "Param name" which was not supplied occurs rarely -

-
I have a VB Net has a web service function that will send criteria to an SQL server stored function. Everything works perfectly for two months in the deployment machine. but now error The process or function GetEmployeeDetails is expected to have a parameter @progress which was not supplied 'P> posted on the machine Just came once. Everything works fine before and after the error. Web service code: public function GetLocation (ByVal as the oldNumber integer, ByVal integer as NewNumber, ByVal as the location string, Byval progress form In the form of a string, byVal name as string, byVal ID as string, try the string as Command1 = New SqlCommand ("GetEmployeeDetails" Connection1) with Command1. CommonType = CommandType Stored Surechers Parameter.ed ("@ old number", SQLDB type.int). Value = old number. Parameter.ed ("New Numer", SQLDB type.ins). Value = Newamer. Parameter. Add ("@Space", SQLBT Ype.VarChar, 10). Value = loc...
Read more

jsp - No mapping found for HTTP request with URI with annotation config Spring MVC and Jetty -

-
Image
I'm only using annotation configuration, the server starts, but when I use some pages error is displayed: Warning: no mapping found for HTTP request with URI [/WEB-INF/view/main.jsp] name 'org.springframework.web.servlet.DispatcherServlet -D7259e with DispatcherServlet in Controller mapping works fine, but no JSP page is full. I am using Jetty 9.2.0.M0 and Spring MVC 4.0.4 release. JetTyP Config: Private Static Last String CONTEXT_PATH = "/"; Private Static Last String MAPPING_URL = "/ *"; Private Zero Server (Int port) throws exceptions {server server = new server (port); Server.addLifeCycleListener (New LifeCycleListener ()); Server.setHandler (getServletContextHandler (getContext ())); Server.start (); Server.join (); } Private static ServletContextHandler getServletContextHandler (WebApplicationContext context) throws IOException {LOGGER.info ( "ServletContextHandler is ready"); CircleContaxHandler themeHandler = new circactont...
Read more

sql server ce - Is there some way to make sqlce3.5 and 4.0 co-exist in the C# project -

-
Currently, my user needs to downgrade their database from sqlce4.0 to sqlce3.5 for our application. , I found a post and it basically caters to my requirement except that the user needs intervention of both solutions, ideally I will target this target to automatically (i.e. users To create without any interference) I want to code a small tool to achieve this goal. So my idea is: 1. Since I know the schema of this DB, so I make an Sclc 3.5 empty DB first. 2. Then open the old SQL 4.0 db and the new escrow 3.5 db at the same time. , And then ask sqlce4.0 DB from the table table and insert them into the new sqlce3.5 dB. It sounds good, but when I try with the C # project, it seems that it can only add an SKL accessory reference (either V5 or V4.0). I know this ninth place has improved pollution. But how can I solve it? 3. Or if I have to export the data to the SQL file and then import it into SQL 3D DD? If some console utility is to impede which supports importing SQL data in sqlce...
Read more