எவ்வளவு பெரிய தரவு பகுப்பாய்வு நமது பொருளாதாரத்தை மாற்றும்

வேகமான, தொழில்நுட்பத்தால் இயங்கும் உலகில் கடைக்காரர்கள் பீட்சா முதல் போர்ஷஸ் வரை அனைத்தையும் ஆன்லைனில் ஆர்டர் செய்யலாம், அதே நேரத்தில் தங்களது ஸ்மார்ட் போனை ஒரே ஸ்வைப் மூலம் ட்விட்டர், ஃபேஸ்புக் மற்றும் இன்ஸ்டாகிராம் கணக்குகளை புதுப்பித்துக்கொள்வதில் ஆச்சரியமில்லை. உலகம் வேகமாக வளர்ந்து வருகிறது.

உண்மையில், IBM படி, ஒவ்வொரு நாளும் மனிதர்கள் 2.5 குவிண்டில்லியன் பைட்டுகள் தரவுகளை உருவாக்குகிறார்கள். இத்தகைய பெரிய அளவிலான தரவுகள் அவற்றின் நிலுவையில் உள்ள தொகை மற்றும் சிக்கலான தன்மை காரணமாக செயலாக்க கடினமாக உள்ளது, இதனால் "பெரிய தரவு" என்று அறியப்படுகிறது.

2009 வாக்கில், 1,000 அல்லது அதற்கு மேற்பட்ட பணியாளர்களைக் கொண்ட அமெரிக்கப் பொருளாதாரத்தின் அனைத்துத் துறைகளிலும் உள்ள வணிகங்கள் சுமார் 200 டெராபைட்கள் சேமிக்கப்பட்ட தரவுகளை உற்பத்தி செய்ததாக மதிப்பிடப்பட்டது.

ஒவ்வொரு துறையிலும் வளர்ச்சியை மேம்படுத்த பெரிய தரவு பகுப்பாய்வு

இப்போது ஏராளமான தரவுகள் சுற்றித் திரிவதால், வணிகங்கள் மற்றும் பல்வேறு நிறுவனங்கள் மற்றும் துறைகள் பல்வேறு தரவுத் தொகுப்புகளை ஒன்றிணைத்து பயனுள்ள தகவல்களைப் பெறலாம்.

செயின்ட் ஜானில் உள்ள நியூ பிரன்சுவிக் பல்கலைக்கழகத்தில் உள்ள மாணவர் தொழில்நுட்ப மையத்தின் மேலாளர் வெய்ன் ஹேன்சன், பெரிய தரவுகளை விளக்குகிறார், "இப்போது நாம் பாரிய தரவுத் தொகுப்புகளை பகுப்பாய்வு செய்ய முடியும் என்ற கருத்தை விவரிக்கும் ஒரு கேட்ச் சொற்றொடர். அடிப்படையில் நாங்கள் தனிப்பட்ட, சமூக, அதிக தரவுகளை கைப்பற்றுகிறோம். , அறிவியல், மற்றும் பல, மற்றும் இப்போது கணினி சக்தி இந்த தரவை இன்னும் முழுமையாக பகுப்பாய்வு செய்ய அனுமதிக்கும் வேகத்தை அடைந்துள்ளது."

ஹேன்சனின் முக்கிய தொழில்நுட்ப ஆர்வம் தொழில்நுட்பத்திற்கும் கலாச்சாரத்திற்கும் இடையிலான தொடர்பு ஆகும். பெரிய தரவு மூலம் இந்த ஆர்வத்தை அவரால் ஆராய முடிகிறது. எடுத்துக்காட்டாக, குற்றங்கள் மற்றும் வரி விகிதங்கள், மக்கள்தொகை மற்றும் மக்கள்தொகை போன்ற ஸ்மார்ட் நகரங்களிலிருந்து தகவல்களை பகுப்பாய்வு செய்து அந்த நகரம் மற்றும் கலாச்சாரம் பற்றிய பொதுவான அவதானிப்புகளை செய்யலாம்.

பெரிய தரவு பல்வேறு வழிகளில் தயாரிக்கப்படுகிறது. செல்போன் சிக்னல்கள் மற்றும் சமூக ஊடகங்கள் முதல் ஆன்லைனிலும் கடைகளிலும் வாங்கும் பரிவர்த்தனைகள் வரை, தரவுகள் உருவாக்கப்பட்டு நம்மைச் சுற்றி மாறிக்கொண்டே இருக்கின்றன. இந்தத் தரவு எதிர்கால பயன்பாட்டிற்காக சேமிக்கப்படும்.

பெரிய தரவுகளின் மூன்று முக்கிய அம்சங்கள் உள்ளன, அவை பல்வேறு சந்தைகளில் பயனுள்ளதாக இருக்கும், அவை மூன்று விகள் என அழைக்கப்படுகின்றன; தொகுதி, வேகம் மற்றும் பல்வேறு. தொகுதி, டெராபைட்கள் மற்றும் பெட்டாபைட்கள் வரை அடையும் மற்றும் பயன்படுத்தக்கூடிய தரவுகளின் அளவைக் குறிக்கிறது. வேகம், அதாவது ஒரு குறிப்பிட்ட துறைக்குள் அல்லது பிற தரவுத் தொகுப்புகளுடன் ஒப்பிடுகையில் அது பொருத்தமற்றதாக மாறுவதற்கு முன்பு தரவு பெறப்பட்டு செயலாக்கப்படும் வேகம். மற்றும் பல்வேறு, அதாவது தரவுத் தொகுப்புகளின் வகைகளில் அதிக பன்முகத்தன்மை, சிறந்த மற்றும் துல்லியமான முடிவுகள் மற்றும் கணிப்புகளைப் பயன்படுத்துகிறது.

பெரிய தரவு பகுப்பாய்வு பல்வேறு சந்தைகளில் பெரிய திறனைக் கொண்டுள்ளது. வானிலை மற்றும் தொழில்நுட்பம், வணிகம் மற்றும் சமூக ஊடகங்கள் வரை, பெரிய தரவு விற்பனை, உற்பத்தித்திறன் மற்றும் தயாரிப்புகள், விற்பனை மற்றும் சேவைகளின் எதிர்கால விளைவுகளை முன்னறிவிப்பதற்கான வாய்ப்பைக் கொண்டுள்ளது. சாத்தியங்கள் முடிவற்றவை.

"பூர்வாங்கம் என்னவென்றால், போதுமான தரவுகளுடன் பெரும்பாலான அனைத்தும் யூகிக்கக்கூடியதாக மாறும்" என்று ஹேன்சன் கூறுகிறார். வடிவங்களை வெளியிடலாம், நடைமுறைகளை நிறுவலாம் மற்றும் புள்ளிவிவரங்களை வெளிச்சத்திற்கு கொண்டு வரலாம். இத்தகைய கணிப்புகளால் கிட்டத்தட்ட ஒவ்வொரு துறையிலும் ஒரு புதிய போட்டி முனை வருகிறது. பெரிய தரவு பகுப்பாய்வு புதிய வணிகத்தின் வெற்றி அல்லது தோல்வி மற்றும் புதியவற்றை உருவாக்குவதில் முக்கிய அங்கமாகிறது.

பதின்ம வயதின் பிற்பகுதியில் இருந்து இருபதுகளின் தொடக்கத்தில் உள்ள பெண்களின் இலக்கு நுகர்வோருக்கு ஆடைகளை வடிவமைக்கும் நிறுவனத்தில் பணியாளராக இருப்பதை கற்பனை செய்து பாருங்கள். ரெட் சீக்வின் ஹை ஹீல்ஸ் விற்பனையை விரைவாகவும் துல்லியமாகவும் கணிக்க முடிந்தால், அது வசதியாகவும் லாபகரமாகவும் இருக்கும் அல்லவா?

பெரிய தரவு பகுப்பாய்வு இங்கு வருகிறது. ஆன்லைனில் எத்தனை பெண்கள் ரெட் சீக்வின் ஹை ஹீல்ஸ் ஆர்டர் செய்திருக்கிறார்கள், எத்தனை பேர் அதைப் பற்றி ட்வீட் செய்துள்ளனர் அல்லது ரெட் ஹை ஹீல்ஸைப் பற்றி யூடியூப் வீடியோக்களை வெளியிட்டுள்ளனர் போன்ற தொடர்புடைய புள்ளிவிவரங்களை நீங்கள் திறமையாகப் பயன்படுத்தினால், நீங்கள் உங்கள் தயாரிப்பு அலமாரியில் வருவதற்கு முன்பே அது எவ்வளவு சிறப்பாகச் செயல்படும் என்பதை துல்லியமாக கணிக்க முடியும். இதனால் யூக வேலைகளை நீக்கி வெற்றிக்கான சாத்தியத்தை அதிகரிக்கும்.

அத்தகைய கணிப்புகளை உருவாக்கும் திறன் வளர்ந்து வரும் தேவையாக மாறி வருகிறது, இதனால் பெரிய தரவு பகுப்பாய்வின் வளர்ச்சியும் உள்ளது.

ஆசியாவின் டிஜிட்டல் ஆராய்ச்சி நிறுவனமான பல்ஸ் குரூப் பிஎல்சி, பெரிய தரவுக் களத்தில் குதித்த ஒரு நிறுவனமாகும். வளர்ந்து வரும் இந்தத் துறையில் எதிர்காலத்தில் பெரிய முதலீடுகளைச் செய்ய பல்ஸ் உத்தேசித்துள்ளது. சைபர்ஜெயாவில் புதிய பெரிய தரவு பகுப்பாய்வு மையத்தை உருவாக்குவது அவர்களின் முதலீட்டுத் திட்டத்தில் அடங்கும்.

வாடிக்கையாளரின் வணிகம் அல்லது நோக்கங்களுக்கு பயனுள்ளதாக இருக்கக்கூடிய வடிவங்கள் மற்றும் தொடர்புகள் போன்ற முக்கியமான தகவல்களைக் கண்டறிய, வாடிக்கையாளரின் தொடர்புடைய தேதி ஸ்ட்ரீம்கள் அனைத்தையும் தொகுத்து விரைவாகவும் திறமையாகவும் பகுப்பாய்வு செய்வதற்கு இத்தகைய மையங்கள் பொறுப்பாகும்.

"பெரிய தரவு பகுப்பாய்வைப் பயன்படுத்தலாம், மேலும் பொதுவான அறிக்கைகளை உருவாக்கலாம்" என்று ஹேன்சன் கூறுகிறார். இந்த பொதுமைப்படுத்தல்கள் வணிகம், கல்வி, சமூக ஊடகம் மற்றும் தொழில்நுட்பம் உட்பட ஒவ்வொரு துறையையும் மேம்படுத்தும் திறனைக் கொண்டுள்ளன.

பல நிறுவனங்களிடம் கணிப்புகளைச் செய்வதற்குத் தேவையான தரவுகள் உள்ளன, ஆனால் பல்வேறு தரவுப் பாக்கெட்டுகளை இணைத்து அவற்றைப் பயனுள்ள வகையில் உடைக்கும் திறன் அவர்களிடம் இல்லை.

பல்சேட் எனப்படும் அவர்களின் புதிய பெரிய தரவு முயற்சியானது அவர்களின் முக்கிய மையமாக இருக்கக்கூடும் என்று பல்ஸின் தலைமை நிர்வாக அதிகாரி பாப் சுவா ஒப்புக்கொள்கிறார். பெரிய தரவு சந்தை அடுத்த ஐந்து ஆண்டுகளில் $50 பில்லியனுக்கும் அதிகமாக வளரும் என எதிர்பார்க்கப்படுவதால், ஒரு புத்திசாலித்தனமான நிதி நடவடிக்கை.

அடுத்த மூன்று ஆண்டுகளில் பல்சேட் பெரிய தரவு பகுப்பாய்வில் முன்னேற்றங்களைச் செய்ய திட்டமிட்டுள்ளது மற்றும் தரவு விஞ்ஞானிகளுக்கு 200 உயர் மட்ட வேலைகளை உருவாக்கியது. "தரவைச் சேகரித்தல் மற்றும் பகுப்பாய்வு செய்தல் ஆகிய இரண்டிற்கும் சிறப்புத் திறன்கள் தேவைப்படும்" என்று ஹேன்சன் குறிப்பிடுகிறார், "இதனால் புதிய வாய்ப்புகளைத் திறக்கிறது."

இந்தப் புதிய வேலைகளைச் செய்ய, பணியாளர்கள் முறையான பயிற்சி பெற்றிருக்க வேண்டும். பல்ஸ் குழுமம், உலகில் உள்ள தரவு விஞ்ஞானிகளுக்கான முதல் பயிற்சி அகாடமிகளில் ஒன்றைத் தங்கள் புதிய தரவு பகுப்பாய்வு மையத்துடன் இணைந்து, தரவு ஆய்வாளர்களின் வளர்ந்து வரும் தேவையைப் பூர்த்தி செய்ய உத்தேசித்துள்ளது.

புதிய வாய்ப்புகள் மற்றும் கற்றல் அனுபவங்களை வழங்குவதைத் தவிர பெரிய தரவுகள் கல்வி உலகில் பிற நேர்மறையான விளைவுகளை ஏற்படுத்தலாம். கல்வித் துறையை மேம்படுத்துவதற்காக பகுப்பாய்வு செய்யப்பட்ட பெரிய தரவு மூலம் மாணவர்களின் நடத்தையை பகுப்பாய்வு செய்ய முடியும் என்று ஹேன்சன் கூறுகிறார். "இறுதியில் இலக்கு மாணவர்களின் அனுபவத்தை மேம்படுத்தவும் [மற்றும்] தக்கவைப்பு எண்ணிக்கையை அதிகரிக்கவும் சேகரிக்கப்பட்ட தரவுகளைப் பயன்படுத்துவதாகும்."

புதிய வேலைகள் மற்றும் கல்வி வாய்ப்புகள் உருவாக்கம், மற்றும் வணிகங்களில் சாத்தியமான கணிப்புகள் மற்றும் வளர்ச்சி ஆகியவற்றுக்கு இடையே, பெரிய தரவு அனைத்தும் ஒன்றாக நல்ல விஷயமாகத் தெரிகிறது. இருப்பினும், இத்தகைய பாரிய அளவிலான தகவல்களை பகுப்பாய்வு செய்து பயன்படுத்துவதில் சில குறைபாடுகள் மற்றும் குறைபாடுகள் உள்ளன.

பல்வேறு பெருநிறுவனங்கள் தங்கள் தரவுத் தொகுப்பாகப் பயன்படுத்த இலவச விளையாட்டு என்ன என்பது கவனிக்கப்பட வேண்டிய ஒரு பிரச்சனை. தனியுரிமை மற்றும் பாதுகாப்பு சம்பந்தப்பட்ட சிக்கல்கள் கவனிக்கப்பட வேண்டும். மேலும் எந்தத் தகவல் யாருக்குச் சொந்தமானது என்பதும் பதிலளிக்கப்பட வேண்டிய கேள்வி. தரவு தொடர்ந்து அனுப்பப்பட்டு பெறப்படும் போது தனிப்பட்ட அறிவுசார் சொத்துக்கும் பொது வெளிக்கும் இடையே உள்ள கோடு மங்கலாகிவிடும்.

இரண்டாவதாக, அனைத்து தகவல்களும் பயனுள்ளதாக இல்லை அல்லது சரியாக பகுப்பாய்வு செய்யாவிட்டால் அது பயனற்றது. சில தரவுத் தொகுப்புகள் சரியான மற்றும் தொடர்புடைய தரவுகளுடன் இணைக்கப்படாவிட்டால், கிட்டத்தட்ட எதுவும் இல்லை. ஒரு நிறுவனத்திற்குத் தேவையான அனைத்துத் தரவையும் அணுகும் வரை மற்றும் அதை எவ்வாறு சரியாகக் கண்டுபிடித்து பகுப்பாய்வு செய்வது என்பது குறித்த அறிவு இல்லாவிட்டால், பெரிய தரவு அடிப்படையில் அவர்களின் நேரத்தை வீணடிக்கும்.

மேலும் தரவு அபாயகரமான விகிதத்தில் வளர்ந்து வருகிறது. உலக தரவுகளில் தொண்ணூறு சதவீதம் கடந்த இரண்டு ஆண்டுகளில் மட்டும் உருவாக்கப்பட்டுள்ளது, மேலும் அந்த எண்ணிக்கை படிப்படியாக அதிகரித்து வருகிறது. புதிய தொடர்புடைய தரவுகளை நாம் பகுப்பாய்வு செய்வதை விட வேகமாக உருவாக்கப்பட்டால், பெரிய தரவு பகுப்பாய்வு பொருத்தமற்றதாகிவிடும். எல்லாவற்றிற்கும் மேலாக, பயன்படுத்தப்படும் தகவலைப் போலவே முடிவுகள் சிறப்பாக இருக்கும்.