hadoop - Optimised Hive query with JOIN , having million records -

-

मेरे पास 2 टेबल हैं - 

  bpm_agent_data - 40 मिलियन रिकॉर्ड, 5 कॉलम bpm_loan_data - 20 लाख रिकॉर्ड, 5 कॉलम

अब मैंने हाइव में एक प्रश्न चलाया - 

  चुनें count (bpm_agent_data.AgentID), count (bpm_loan_data.LoanNumber) bpm_agent_data से JOIN bpm_loan_data जहां bpm_loan_data.id = bpm_agent_data.id;

जो पूरा करने के लिए लंबा समय ले रहा है। HIVE में क्वेरी लिखने का आदर्श तरीका क्या होना चाहिए ताकि Reducer को इतना समय न लेना चाहिए।

उपरोक्त क्वेरी के लिए समाधान मिला, जहां पर 

  काउंट (bpm_agent_data.AgentID), गिनती (bpm_loan_data.LoanNumber) से bpm_agent_data पर जोड़ें bpm_loan_data पर (bpm_loan_data.id = bpm_agent_data.id );

Comments

Post a Comment

Popular posts from this blog

c# - The item with identity 'Id' already exists in the metadata collection. Parameter name: item -

-
मेरी सभी संस्थाओं का आधार वर्ग है: सार्वजनिक वर्ग इकाई & lt; TKey & gt; : आईएरिटीटी & lt; टीके & gt; {गतिशील आईईआरटीईटी.आईडी {प्राप्त करें} इस आईआईडी; } सेट {this.Id = मान; }} सार्वजनिक TKey Id {get; सेट; }} उदाहरण के लिए स्थिति इकाई: [मेटाडाटा टाइप (टाइपफ (स्टेटसमैटडेटा))] सार्वजनिक आंशिक श्रेणी की स्थिति: इकाई & lt; बाइट & gt; {सार्वजनिक स्ट्रिंग शीर्षक {प्राप्त करें; सेट; }} जब मैं डेटाबेस के विरुद्ध क्वेरी चलाऊँगा तो मुझे निम्न त्रुटि मिलती है: "पहचान 'आईडी वाला आइटम पहले से ही मेटाडेटा संग्रह में मौजूद है। पैरामीटर का नाम: आइटम" क्या यह तय करने का कोई तरीका है या यह किसी वारसा के कारण हुई समस्या है और मैं किसी भी वर्ग से अपनी संस्थाओं का वारिस नहीं कर सकता हूं? यह एक सामान्य त्रुटि है, कुछ जानकारी के लिए खोज करते हुए, मैंने देखा कि: दो तालिकाओं को एक प्राथमिक कुंजी के लिए एक ही नाम हो सकता है लाइटस्विच टेबल्स को देखो, उन सभी को एक प्राथमिक कुंजी है जिन्हें आईडी कहा जाता है। इसलिए, मैं सभी संस्थाओं की समीक्षा करता ह...
Read more

sql - PostgreSQL automatically update row at specific date -

-
Once I update one line, I want to reach the specific timestamp in that line. For example, there are deals in an auction site which ends in one day. After that time the deal ends automatically. Is there a feature in PostGrace SQL, where I can set a line to automatically update when it reaches a specific time period? Otherwise how do I apply this example bargain feature? One view can work for it Suppose a table T Create table T (deal_ID integer, deal_time timestamp, end time interval); Enter T (deal_id, deal_start, expiry_time) values ​​(1, now (), '1 day'); If this deal is over, then a view will be Caletrack Select View vs. *, now ()> At the end of T, deal_start + expiry_time; Choose from V * Deal_id Deal_start | Expiry_time | Ended --------- + ---------------------------- + -------- - --- + --------- 1 | 2014-04-22 13: 26: 32.319394 | 1 day | F
Read more

jsp - No mapping found for HTTP request with URI with annotation config Spring MVC and Jetty -

-
Image
I'm only using annotation configuration, the server starts, but when I use some pages error is displayed: Warning: no mapping found for HTTP request with URI [/WEB-INF/view/main.jsp] name 'org.springframework.web.servlet.DispatcherServlet -D7259e with DispatcherServlet in Controller mapping works fine, but no JSP page is full. I am using Jetty 9.2.0.M0 and Spring MVC 4.0.4 release. JetTyP Config: Private Static Last String CONTEXT_PATH = "/"; Private Static Last String MAPPING_URL = "/ *"; Private Zero Server (Int port) throws exceptions {server server = new server (port); Server.addLifeCycleListener (New LifeCycleListener ()); Server.setHandler (getServletContextHandler (getContext ())); Server.start (); Server.join (); } Private static ServletContextHandler getServletContextHandler (WebApplicationContext context) throws IOException {LOGGER.info ( "ServletContextHandler is ready"); CircleContaxHandler themeHandler = new circactont...
Read more