இன்றைய உள்ளடக்கம் நிறைந்த டிஜிட்டல் உலகில், சரியான பயனருக்கு சரியான நேரத்தில் சரியான உள்ளடக்கத்தை வழங்குவது முக்கியமானது. மாம்ஸ்பிரெஸோவின் தரவு குழாய் பற்றிய எங்கள் முந்தைய வேலையின் அடிப்படையில், மில்லியன் கணக்கான மாம்ஸ்பிரெஸோ பயனர்களுக்கு உள்ளடக்கத்தை தனிப்பயனாக்கும் சக்திவாய்ந்த பரிந்துரை இயந்திரத்தை இப்போது செயல்படுத்தியுள்ளோம். இந்த அமைப்பை எவ்வாறு உருவாக்கினோம் என்பதைப் பார்ப்போம்.
சவால்#
மாம்ஸ்பிரெஸோவிற்கு தேவைப்பட்ட பரிந்துரை அமைப்பு:
- பெரிய அளவிலான பயனர் தொடர்பு தரவுகளை செயலாக்க வேண்டும்
- தனிப்பயனாக்கப்பட்ட கட்டுரை பரிந்துரைகளை விரைவாக உருவாக்க வேண்டும்
- பயனர்கள் உள்ளடக்கத்துடன் தொடர்பு கொள்ளும்போது நிகழ்நேரத்தில் பரிந்துரைகளை புதுப்பிக்க வேண்டும்
- மில்லியன் கணக்கான பயனர்கள் மற்றும் கட்டுரைகளை கையாள அளவிட வேண்டும்
எங்கள் தீர்வு: ஸ்பார்க்-இயக்கப்படும் பரிந்துரை இயந்திரம்#
நாங்கள் முன்னர் உருவாக்கிய தரவு குழாயைப் பயன்படுத்தும் பல கூறுகள் கொண்ட பரிந்துரை அமைப்பை வடிவமைத்தோம்:
1. தரவு உருவாக்க ஸ்கிரிப்ட்கள்#
எங்கள் தரவு குழாயிலிருந்து நிகழ்வு சேமிப்பகத்தைப் பயன்படுத்தி, எங்கள் பரிந்துரை மாதிரிக்கான பயிற்சி தொகுப்பை உருவாக்க ஸ்கிரிப்ட்களை உருவாக்கினோம். இது எங்கள் மாதிரியை பயிற்றுவிக்க உண்மையான பயனர் தொடர்பு தரவுகளைப் பயன்படுத்த அனுமதிக்கிறது.
2. மாதிரி பயிற்சிக்கான ஸ்பார்க் ML-lib#
மாதிரி பயிற்சிக்காக ஸ்பார்க் ML-lib அடிப்படையிலான அமைப்பை அமைத்தோம். தற்போது நாங்கள் கூட்டு வடிகட்டுதலைப் பயன்படுத்துகிறோம், இது வெறும் 3-4 நாட்கள் தரவுடன் விரைவாக பயிற்சி பெற முடியும். இது எங்கள் மாதிரியை அடிக்கடி புதுப்பிக்க அனுமதிக்கிறது, எங்கள் பரிந்துரைகள் தொடர்புடையதாக இருப்பதை உறுதி செய்கிறது.
3. பரிந்துரை வலை சேவை#
பயனர் ஐடிகளின் அடிப்படையில் கட்டுரை பரிந்துரைகளை வழங்கும் வலை சேவையை உருவாக்கினோம். நினைவகத்தில் மாதிரியை ஏற்றுவதற்கான உயர் தாமதத்தை நிவர்த்தி செய்ய, ரெடிஸ் பயன்படுத்தி தற்காலிக சேமிப்பு உத்தியை செயல்படுத்தினோம். இது எங்கள் பரிந்துரைகளுக்கு விரைவான பதில் நேரங்களை உறுதி செய்கிறது.
4. பரிந்துரை நீக்கும் சேவை#
பரிந்துரைகளை புதுப்பித்த நிலையில் வைத்திருக்க, பார்வையிடப்பட்ட கட்டுரைகளை ஒரு பயனரின் பரிந்துரைகளிலிருந்து அகற்றும் சேவையை செயல்படுத்தினோம். இந்த சேவை காஃப்காவுடன் இணைந்து பார்வை நிகழ்வுகளைக் கேட்கிறது, நிகழ்நேரத்தில் பரிந்துரைகளைப் புதுப்பிக்கிறது.
எங்கள் பரிந்துரை இயந்திரத்தின் முக்கிய அம்சங்கள்#
தனிப்பயனாக்கம்: கூட்டு வடிகட்டுதலைப் பயன்படுத்துவதன் மூலம், ஒத்த பயனர்களின் நடத்தைகளின் அடிப்படையில் தனிப்பயனாக்கப்பட்ட பரிந்துரைகளை வழங்க முடியும்.
நிகழ்நேர புதுப்பிப்புகள்: பயனர்கள் உள்ளடக்கத்துடன் தொடர்பு கொள்ளும்போது எங்கள் அமைப்பு பரிந்துரைகளைப் புதுப்பிக்கிறது, தொடர்புடையதாக இருப்பதை உறுதி செய்கிறது.
அளவிடக்கூடியது: ஸ்பார்க் மற்றும் ரெடிஸ் பயன்பாடு எங்கள் அமைப்பு பெரிய அளவிலான தரவு மற்றும் பயனர்களை திறமையாக கையாள அனுமதிக்கிறது.
நெகிழ்வுத்தன்மை: எங்கள் மாடுலார் வடிவமைப்பு பரிந்துரை அல்காரிதத்தை எளிதாக மாற்றவோ அல்லது எதிர்காலத்தில் புதிய அம்சங்களைச் சேர்க்கவோ அனுமதிக்கிறது.
செயல்படுத்துதல் மற்றும் முடிவுகள்#
மாம்ஸ்பிரெஸோவின் தளத்துடன் பரிந்துரை இயந்திரத்தை ஒருங்கிணைப்பது எளிதாக இருந்தது. உற்பத்தி வலைத்தளத்தில் உள்ள ஊட்டங்களில் ஒன்றுக்கான API-யாக எங்கள் புதிய பரிந்துரை வலை சேவையைப் பயன்படுத்த Nginx இல் சிறிய கட்டமைப்பு மாற்றத்தை செய்தோம்.
ஆரம்ப முடிவுகள் நம்பிக்கையளிக்கின்றன:
- அதிகரித்த ஈடுபாடு: பயனர்கள் தளத்தில் அதிக நேரம் செலவிடுகிறார்கள், ஒரு அமர்வில் அதிக கட்டுரைகளைப் படிக்கிறார்கள்.
- மேம்படுத்தப்பட்ட கண்டுபிடிப்பு: பயனர்கள் பரந்த அளவிலான உள்ளடக்கத்தைக் கண்டறிந்து ஈடுபடுகிறார்கள்.
- மேம்படுத்தப்பட்ட பயனர் திருப்தி: ஆரம்ப கருத்துக்கள் பயனர்கள் தனிப்பயனாக்கப்பட்ட பரிந்துரைகளை மதிப்புமிக்கதாகக் கருதுகிறார்கள் என்பதைக் குறிக்கின்றன.
எதிர்காலம் நோக்கி#
எங்கள் பரிந்துரை இயந்திரத்தை மேம்படுத்துவதை நாங்கள் தொடர்ந்து செய்யும்போது, பல எதிர்கால மேம்பாடுகள் குறித்து நாங்கள் உற்சாகமாக இருக்கிறோம்:
- பல-மாதிரி அணுகுமுறை: வெவ்வேறு வகையான உள்ளடக்கம் அல்லது பயனர் பிரிவுகளுக்கு வெவ்வேறு பரிந்துரை மாதிரிகளை செயல்படுத்துதல்.
- உள்ளடக்கம் அடிப்படையிலான வடிகட்டுதல்: பரிந்துரைகளை மேம்படுத்த கட்டுரை அம்சங்களை இணைத்தல், குறிப்பாக புதிய அல்லது குறுகிய உள்ளடக்கத்திற்கு.
- A/B சோதனை கட்டமைப்பு: வெவ்வேறு பரிந்துரை உத்திகளை எளிதாக சோதிக்க ஒரு அமைப்பை உருவாக்குதல்.
எங்கள் பரிந்துரை இயந்திரத்தை தொடர்ந்து மேம்படுத்துவதன் மூலம், மாம்ஸ்பிரெஸோ தங்கள் பயனர்களுக்கு அதிக மதிப்பை வழங்க உதவுகிறோம், அவர்களை ஈ