¡¡¡¡Õª Òª£º¡¡Ëæ×ÅÈ«¹úÊý×Ö»¯½ø³Ì¼Ó¿ì£¬ºÜ¶à×éÖ¯»ú¹¹¶¼¾ß±¸Á˺£Á¿µÄÊý¾Ý£¬¶¼ÐèҪʹÓôóÊý¾Ýƽ̨À´½øÐÐÊý¾Ý´¦Àí¡£È»¶ø£¬ÔÚͬһ¸ö×éÖ¯»ú¹¹ÄÚ²¿£¬´óÊý¾Ý×ÊÔ´Èç¹û²»½øÐÐÏÞÖÆ£¬ËùÓÐÓû§¶¼¿ÉÒÔ·ÃÎʵ½£¬¿ÉÄÜ»á´æÔÚ×ÊԴʹÓò»ºÏÀíÓëÊý¾Ýй¶µÈÎÊÌ⡣ΪÁ˽â¾öÕâ¸öÍ´µã£¬±¾ÎÄͨ¹ý¶Ô´óÊý¾Ý¶à×â»§¼¼Êõ½øÐÐÁËÉîÈëÑо¿£¬½áºÏÒµÎñ¾ßÌåÐèÇ󳡾°Ñо¿ÓëÉè¼ÆÁ˶à×â»§¼¼ÊõÂ䵨·½°¸£¬×îºó¶Ô¶à×â»§¼¼ÊõÓ¦ÓýøÐÐÁË×ܽáÓëÕ¹Íû¡£
¡¡¡¡¹Ø¼ü´Ê : ¶à×â»§:´óÊý¾Ý; Hadoop;
¡¡¡¡1 ¡¢ÒýÑÔ
¡¡¡¡Ëæ×Å´óÊý¾ÝµÄÆÕ¼°£¬Ô½À´Ô½¶àµÄ×éÖ¯»ú¹¹½«×Ô¼ºµÄº£Á¿Êý¾ÝµÄ´æ´¢ÓëÔËËã·ÅÔÚHadoop¼¯ÈºÉÏ¡£È»¶øÓÉÓÚͬ¹«Ë¾²»Í¬ÏîÄ¿»òÕß²¿ÃÅÖ®¼ä¶Ô¼ÆËãºÍ´æ´¢µÄÐèÇó²»Í¬£¬ÔÓÐÌṩһÌ׵ײãHadoop¼¯Èº¸øÓû§Ê¹ÓÃÒѾ²»ÄÜÂú×ãÓû§µÄÐèÇó£¬Ö÷Òª´æÔÚÒÔϼ¸¸öÎÊÌ⣺
¡¡¡¡(1£©¶à¸öÓû§Ö®¼ä¹«ÓÃÒ»Ì×µ×²ã´æ´¢×ÊÔ´£¬±Ë´ËÖ®¼äÊý¾ÝûÓнøÐиôÀ룬»áµ¼Ö´洢µÄÊý¾Ýй¶£»
¡¡¡¡(2£©²»Í¬Óû§±àдµÄ²»Í¬¼ÆËãÈÎÎñ¹«ÓõײãÈ«Á¿¼ÆËã×ÊÔ´£¬»áµ¼Ö¼ÆËã×ÊÔ´ÒªÇó¸ßµÄÈÎÎñÎÞ·¨»ñµÃ×ã¹»×ÊÔ´µÈ£»
¡¡¡¡(3£©¶ÔIO,CPU£¬ÄÚ´æµÈµÄÒªÇó²»Í¬µÄÈÎÎñÎÞ·¨·ÖÅäµ½¾ß±¸ÏàÓ¦ÌØ³¤µÄ½ÚµãÉÏÔËÐС£
¡¡¡¡ÕýÊÇÉÏÊöÎÊÌ⣬ÔÚûÓжÔHadoop¼¯Èº×ÊÔ´½øÐо«Ï¸»¯¹ÜÀíʱ£¬ºÜÈÝÒ׳öÏÖÊý¾ÝÓ뼯Ⱥ×ÊÔ´»ìÂÒÎÞÐòµÄ״̬¡£
¡¡¡¡2 ¡¢Ïà¹Ø¸ÅÄî
¡¡¡¡ÔÚ½éÉܶà×â»§Ïà¹ØÑо¿ÓëÉè¼ÆÇ°£¬Ê×ÏÈÐèÒª¶ÔÏÂÊö¸ÅÄî½øÐнéÉÜ£º
¡¡¡¡(1£©´æ´¢×ÊÔ´£º·Ö²¼Ê½´æ´¢Îļþϵͳ£¨Hadoop Distributed File System,HDFS£©ÖеÄÒ»¸ö»òÕß¶à¸öĿ¼£»
¡¡¡¡(2£©¼ÆËã×ÊÔ´£º×ÊÔ´µ÷¶Èе÷ϵͳ£¨Yet Another Resource Negotiator,YARN£©ÖжÓÁУ»
¡¡¡¡(3£©¶ÓÁУº¼ÆËãÈÎÎñ½øÐÐ×ÊÔ´·ÖÅäµÄ×îСµ¥Î»¡£
¡¡¡¡3¡¢ ¶à×â»§¼¼ÊõÑо¿
¡¡¡¡Ä¿Ç°£¬¶à×â»§µÄʵÏÖÓжàÖÖ·½°¸£¬ÏÂÃæ¶ÔÏà¹Ø¼¼Êõ·½°¸½øÐзÖÎö¡£
¡¡¡¡»ùÓÚÈÝÆ÷µÄ¶à×â»§´óÊý¾Ýƽ̨¹¹½¨·½°¸£¬Í¨¹ýÈÝÆ÷»¯¼¼Êõ·â×°´óÊý¾Ý×é¼þ³ÉÃèÊöÐÔÎļþ£¬ÔÙͨ¹ýÔÆ¼ÆËã£¬ÔÆ°²È«Ìṩ¶à×â»§°²È«µÄ¸ôÀëÓë¹²Ïí¡£¸Ã·½°¸Ö÷ÒªÀûÓÃÁËÔÆ¼ÆËãµÄ×â»§¸ôÀëÊֶΣ¬À´ÊµÏÖ¶ÔËùÔËÐÐ×é¼þµÄ¸ôÀ룬µ«ÊÇÓÉÓÚÆäÿ¸ö´óÊý¾Ý×é¼þËù¾ßÓеÄÊý¾ÝÊDZ˴˸ôÀëµÄ£¬ÈÝÒײúÉúÊý¾Ý¹Âµº£¬ÔÚÐèÒª¶Ô¸÷¸ö×â»§Êý¾Ý½øÐÐÈ«Á¿¼ÆËãʱ£¬ÄÑÒÔÊÊÓá£
¡¡¡¡»ùÓÚHadoopµÄ¶à×â»§´óÊý¾Ýƽ̨·½°¸Ö÷ÒªÊÇ»ùÓÚHadoopÉú̬µÄHDFS¡¢YARNµÈµÄ¹¦ÄÜÀ´¶Ô×ÊÔ´½øÐиôÀë¡£HDFS¿ÉÒÔͨ¹ýĿ¼µÄ·ÃÎÊȨÏÞ£¬À´¶Ô¸÷¸ö×â»§Ïà¹ØµÄÓû§·ÃÎÊȨÏÞ½øÐиôÀëÏÞÖÆ¡£YARNÖеļÆËã¶ÓÁÐÒ²¿ÉÒÔͨ¹ýÏà¹ØÅäÖÃÀ´¶ÔÆä½øÐиüϸÁ£¶ÈµÄ·ÃÎÊ¿ØÖÆÒÔ´ïµ½²»Í¬×â»§µÄ·ÃÎʸôÀë¡£
¡¡¡¡4¡¢ ¶à×â»§¼¼Êõ·½°¸
¡¡¡¡ÓÉÓÚ¿ÉÄÜÐèÒª¶Ô¸÷×â»§Êý¾Ý½øÐиü¸ß²ã´ÎµÄ¼ÆË㣬±¾ÂÛÎÄÖ÷Òª²ÉÓûùÓÚHadoopÉú̬µÄ¶à×⻧ʵÏÖ·½°¸¡£
¡¡¡¡µ«ÊÇÓÉÓÚ²»Í¬°æ±¾µÄHadoopÔÚ×â»§Ïà¹ØµÄ¹¦ÄÜÉÏÊÇÓÐÇø±ðµÄ¡£Hadoop2.7ËäȻҲ֧³Ö¶à×â»§ÄÜÁ¦£¬µ«ÊÇÆä¶ÔYARNÖжÓÁж¯Ì¬¿ØÖÆÄÜÁ¦»¹ÓÐЩǷȱ¡£ÆäÎÞ·¨×öµ½¶Ô¶¯Ì¬×ÊÔ´µÄɾ³ý£¬Ã¿´ÎÒª³¹µ×ɾ³ý¶¯Ì¬×ÊÔ´¶¼ÐèÒª¶Ô×é¼þ½øÐÐÖØÆô¡£Æä´ÎÓÉÓÚϵͳÐèÒª¶Ô¹ú²ú·ÉÌÚ·þÎñÆ÷£¨ARM¼Ü¹¹£©Ö§³Ö¡£ËùÒÔÑ¡ÔñÁËHadoop3.3.0°æ±¾¡£
¡¡¡¡¿¼Âǵ½ÐèÒªÖ§³Ö¶ÓÁпÉÑ¡Ôñ²»Í¬ÌØÐԵĽڵã·ÖÇøÓëÐèÒªÖ§³Ö¶à¼¶×â»§£¬²ÉÓÃÁËÈÝÁ¿µ÷¶ÈÆ÷À´ÊµÏÖ¶Ô¶¯Ì¬×ÊÔ´µÄ¹Ü¿Ø¡£ÈÝÁ¿µ÷¶ÈÆ÷µÄ½Úµã±êÇ©¹¦ÄÜ£¨Node Label£©¿ÉÒÔ¶Ô¼ÆËã½Úµã½øÐдò±êÇ©·ÖÀ࣬Ȼºóͨ¹ý¶Ô¶¯Ì¬×ÊÔ´ÅäÖò»Í¬±êÇ©µÄ½Úµã×ÊÔ´³Ø£¬À´ÊµÏÖ¶Ô¶¯Ì¬×ÊÔ´µÄ½Úµã·ÖÇøÑ¡Ôñ¡£
¡¡¡¡¾ßÌåµÄ×â»§Óë×ÊÔ´·ÃÎÊȨÏÞµÄÅäÖã¬Ö÷ÒªÓÐÁ½·½Ã棬һ·½ÃæÎª´æ´¢×ÊԴȨÏÞ£¬Ö÷ÒªÊÇ»ùÓÚPOSIXÄ£ÐÍ£¬ÔÚ´´½¨ÍêĿ¼ºó¶ÔĿ¼µÄ·ÃÎÊȨÏÞ½øÐÐÉèÖã»ÁíÒ»·½ÃæÊǶ¯Ì¬¼ÆËã×ÊÔ´µÄ·ÃÎÊȨÏÞ£¬Ö÷ÒªÊÇͨ¹ýÉèÖö¯¼ÆËã̬×ÊÔ´µÄacl£ßsubmit£ßapplicationsÓëacl£ßadminister£ßqueueÁ½¸ö²ÎÊýÀ´¿ØÖÆ¡£
¡¡¡¡±¾ÏîÄ¿¶ÔHadoopÏà¹Ø×é¼þµÄÕûÌå¹Ü¿Ø·½°¸Èçͼ1Ëùʾ£¬Í¨¹ýƽ̨²ãÏ·¢Ö¸Áî»òÕßHTTPÇëÇóÀ´ÊµÏֶԵײã×é¼þµÄ¿ØÖÆ¡£
ͼ1 ÕûÌå¹Ü¿Ø·½°¸
¡¡¡¡5 ¡¢×ܽá
¡¡¡¡±¾ÎÄËùÌá³öµÄ´óÊý¾Ý×⻧ʵÏÖ·½°¸£¬Ïà¶ÔÓÚ»ùÓÚÈÝÆ÷µÄ×â»§·½°¸£¬²»´æÔÚ¼¯Èº»¯µÄÊý¾Ý¸ôÀë¡£¶ÔÓÚʹÓÃÕßÀ´Ëµ£¬±ÜÃâÁË´æ´¢Êý¾ÝµÄй¶£¬¶Ô¼ÆËã×ÊÔ´½øÐÐÁ˸üϸ»¯µÄ¹Ü¿Ø£¬Ìá¸ßÁË»úÆ÷µÄʹÓÃЧÂÊÓë¼ÆËãÈÎÎñµÄÖ´ÐÐЧÂÊ£¬ÔÚʵ¼ÊʹÓÃÖÐÓÐ×Ų»´íµÄ·´À¡¡£
¡¡¡¡²Î¿¼ÎÄÏ×
¡¡¡¡[1]ÁÖΰΰ,ÕÅ×ÓÁú, Áõ¿£¬µÈ. -ÖÖ»ùÓÚÈÝÆ÷µÄ¶à×â»§´óÊý¾Ýƽ̨¹¹½¨·½·¨[P]. CN106569895A,2017.
¡¡¡¡[2]ÕÅ×ÓÁúÃæÏò´óÊý¾ÝµÄ¶à×â»§¹Ø¼ü¼¼ÊõÑо¿[D]»ªÄÏÀí¹¤´óѧ.
¡¡¡¡[3]ºÎÃÀ±ó,ºú¾«Ó¢»ùÓÚHadoopµÄ´óÊý¾Ýƽ̨¶à×â»§¹ÜÀí²ßÂÔÑо¿[J]µçÄÔ±à³Ì¼¼ÇÉÓëά»¤, 2017(23):58-60.