আমি কীভাবে ই-কমার্সে বড় পরিসরে অসামঞ্জস্যপূর্ণ অ্যাট্রিবিউট ভ্যালু ঠিক করতে AI ব্যবহার করেছি

যখন মানুষ ই-কমার্স স্কেলিং নিয়ে কথা বলে, তারা বড় ইঞ্জিনিয়ারিং চ্যালেঞ্জগুলিতে ফোকাস করে: ডিস্ট্রিবিউটেড সার্চ, রিয়েল-টাইম ইনভেন্টরি, রেকমেন্ডেশন ইঞ্জিন এবং চেকআউট অপটিমাইজেশন। কিন্তু এসবের নিচে একটি নিরব, আরও স্থায়ী সমস্যা রয়েছে যা প্রায় প্রতিটি রিটেইলার মোকাবেলা করে: অ্যাট্রিবিউট ভ্যালু।

অ্যাট্রিবিউট হল প্রোডাক্ট ডিসকভারির মেরুদণ্ড। এগুলি ফিল্টার, তুলনা, সার্চ র‍্যাঙ্কিং এবং রেকমেন্ডেশন লজিক পাওয়ার করে। কিন্তু বাস্তব ক্যাটালগে, অ্যাট্রিবিউট ভ্যালু কদাচিৎ পরিষ্কার থাকে। এগুলি অসামঞ্জস্যপূর্ণ, ডুপ্লিকেট, ভুল ফরম্যাট বা শব্দার্থগতভাবে অস্পষ্ট।

সাইজ-এর মতো সহজ কিছু নিন। আপনি দেখতে পারেন:

Code

["XL", "Small", "12cm", "Large", "M", "S"]

অথবা রঙ:

Code

["RAL 3020", "Crimson", "Red", "Dark Red"]

পৃথকভাবে, এই অসামঞ্জস্যগুলি নিরীহ দেখায়। কিন্তু এগুলি ৩০ লক্ষেরও বেশি SKU জুড়ে গুণ করুন, প্রতিটিতে কয়েক ডজন অ্যাট্রিবিউট সহ, এবং সমস্যাটি সিস্টেমিক হয়ে ওঠে। ফিল্টারগুলি অপ্রত্যাশিতভাবে আচরণ করে, সার্চ ইঞ্জিন প্রাসঙ্গিকতা হারায়, মার্চেন্ডাইজাররা ম্যানুয়াল ক্লিনআপে ডুবে যায় এবং গ্রাহকদের জন্য প্রোডাক্ট ডিসকভারি ধীর এবং আরও হতাশাজনক হয়ে ওঠে।

এটি ছিল আমার সামনে চ্যালেঞ্জ যখন আমি Zoro-তে একজন ফুল-স্ট্যাক সফটওয়্যার ইঞ্জিনিয়ার হিসেবে কাজ করছিলাম, এমন একটি সমস্যা যা উপেক্ষা করা সহজ ছিল কিন্তু প্রতিটি প্রোডাক্ট পেজকে প্রভাবিত করেছিল।

আমার পদ্ধতি: হাইব্রিড AI ডিটারমিনিজমের সাথে মিলিত

আমি এমন একটি রহস্যময় ব্ল্যাক বক্স AI চাইনি যা শুধু জিনিসগুলি সাজায়। এই ধরনের সিস্টেমগুলি বিশ্বাস করা, ডিবাগ করা বা স্কেল করা কঠিন। পরিবর্তে, আমি এমন একটি পাইপলাইনের লক্ষ্য রেখেছিলাম যা:

• ব্যাখ্যাযোগ্য
• পূর্বাভাসযোগ্য
• স্কেলযোগ্য
• মানুষের দ্বারা নিয়ন্ত্রণযোগ্য

ফলাফল ছিল একটি হাইব্রিড AI পাইপলাইন যা LLM থেকে প্রাসঙ্গিক যুক্তিকে স্পষ্ট নিয়ম এবং মার্চেন্ডাইজার নিয়ন্ত্রণের সাথে মিলিত করে। এটি প্রয়োজন হলে স্মার্টভাবে কাজ করে, কিন্তু সবসময় পূর্বাভাসযোগ্য থাকে। এটি গার্ডরেইল সহ AI, নিয়ন্ত্রণহীন AI নয়।

ব্যাকগ্রাউন্ড জব: থ্রুপুটের জন্য নির্মিত

সমস্ত অ্যাট্রিবিউট প্রসেসিং অফলাইন ব্যাকগ্রাউন্ড জবে ঘটে, রিয়েল টাইমে নয়। এটি কোনো আপস ছিল না; এটি একটি কৌশলগত আর্কিটেকচারাল পছন্দ ছিল।

রিয়েল-টাইম পাইপলাইন আকর্ষণীয় শোনায়, কিন্তু ই-কমার্স স্কেলে, তারা পরিচয় করায়:

• অপ্রত্যাশিত লেটেন্সি
• ভঙ্গুর নির্ভরতা
• ব্যয়বহুল কম্পিউট স্পাইক
• অপারেশনাল ভঙ্গুরতা

অন্যদিকে, অফলাইন জব আমাদের দিয়েছে:

• উচ্চ থ্রুপুট: লাইভ সিস্টেমকে প্রভাবিত না করে বিশাল ব্যাচ প্রসেস করা হয়েছে
• রেজিলিয়েন্স: ব্যর্থতা কখনও গ্রাহক ট্রাফিককে প্রভাবিত করেনি
• খরচ নিয়ন্ত্রণ: কম-ট্রাফিক সময়ে কম্পিউট সময়সূচি করা যেতে পারে
• আইসোলেশন: LLM লেটেন্সি কখনও প্রোডাক্ট পেজগুলিকে প্রভাবিত করেনি
• সামঞ্জস্য: আপডেটগুলি পারমাণবিক এবং পূর্বাভাসযোগ্য ছিল

লক্ষ লক্ষ SKU নিয়ে কাজ করার সময় গ্রাহক-মুখী সিস্টেমকে ডেটা-প্রসেসিং পাইপলাইন থেকে আলাদা রাখা অপরিহার্য।

ক্লিনিং এবং নরমালাইজেশন

ডেটাতে AI ব্যবহার করার আগে, আমি নয়েজ এবং বিভ্রান্তি অপসারণ করতে একটি স্পষ্ট প্রিপ্রসেসিং ধাপ চালিয়েছি। এই ধাপটি সহজ শোনাতে পারে, কিন্তু এটি LLM-এর যুক্তি ব্যাপকভাবে উন্নত করেছে।

ক্লিনিং পাইপলাইনে অন্তর্ভুক্ত ছিল:

• হোয়াইটস্পেস ট্রিম করা
• খালি ভ্যালু অপসারণ করা
• ভ্যালু ডিডুপ্লিকেট করা
• ক্যাটাগরি ব্রেডক্রাম্বকে একটি প্রাসঙ্গিক স্ট্রিং-এ সমতল করা

এটি নিশ্চিত করেছে যে LLM পরিষ্কার, স্পষ্ট ইনপুট পেয়েছে, যা সামঞ্জস্যপূর্ণ ফলাফলের চাবিকাঠি। গারবেজ ইন, গারবেজ আউট। এই স্কেলে, এমনকি ছোট ত্রুটিগুলিও পরে বড় সমস্যা সৃষ্টি করতে পারে।

প্রসঙ্গ সহ LLM সেবা

LLM শুধু ভ্যালুগুলি বর্ণানুক্রমিকভাবে সাজাচ্ছিল না। এটি তাদের সম্পর্কে যুক্তি দিচ্ছিল।

সেবা পেয়েছে:

• ক্লিন করা অ্যাট্রিবিউট ভ্যালু
• ক্যাটাগরি ব্রেডক্রাম্ব
• অ্যাট্রিবিউট মেটাডেটা

এই প্রসঙ্গ দিয়ে, মডেলটি বুঝতে পারে:

• পাওয়ার টুলস-এ "ভোল্টেজ" সংখ্যাসূচক
• পোশাক-এ "সাইজ" একটি পরিচিত অগ্রগতি অনুসরণ করে
• পেইন্ট-এ "রঙ" RAL স্ট্যান্ডার্ড অনুসরণ করতে পারে
• হার্ডওয়্যার-এ "উপাদান"-এর শব্দার্থগত সম্পর্ক রয়েছে

মডেল ফেরত দিয়েছে:

• অর্ডার করা ভ্যালু
• পরিমার্জিত অ্যাট্রিবিউট নাম
• একটি সিদ্ধান্ত: ডিটারমিনিস্টিক বা প্রাসঙ্গিক অর্ডারিং

এটি পাইপলাইনকে প্রতিটি ক্যাটাগরির জন্য হার্ডকোড নিয়ম ছাড়াই বিভিন্ন অ্যাট্রিবিউট টাইপ পরিচালনা করতে দেয়।

ডিটারমিনিস্টিক ফলব্যাক

প্রতিটি অ্যাট্রিবিউটের AI প্রয়োজন নেই।

প্রকৃতপক্ষে, অনেক অ্যাট্রিবিউট ডিটারমিনিস্টিক লজিক দ্বারা ভালোভাবে পরিচালিত হয়।

সংখ্যাসূচক রেঞ্জ, ইউনিট-ভিত্তিক ভ্যালু এবং সাধারণ সেটগুলি প্রায়শই উপকৃত হয়:

• দ্রুত প্রক্রিয়াকরণ
• পূর্বাভাসযোগ্য অর্ডারিং
• কম খরচ
• শূন্য অস্পষ্টতা

পাইপলাইন স্বয়ংক্রিয়ভাবে এই ক্ষেত্রে সনাক্ত করেছে এবং তাদের জন্য ডিটারমিনিস্টিক লজিক ব্যবহার করেছে। এটি সিস্টেমকে দক্ষ রেখেছে এবং অপ্রয়োজনীয় LLM কলগুলি এড়িয়ে গেছে।

ম্যানুয়াল বনাম LLM ট্যাগিং

মার্চেন্ডাইজারদের এখনও নিয়ন্ত্রণ প্রয়োজন ছিল, বিশেষত ব্যবসা-সংবেদনশীল অ্যাট্রিবিউটগুলির জন্য।

তাই প্রতিটি ক্যাটাগরি ট্যাগ করা যেতে পারে:

• LLM_SORT — মডেলকে সিদ্ধান্ত নিতে দিন
• MANUAL_SORT — মার্চেন্ডাইজাররা অর্ডার নির্ধারণ করুন

এই ডুয়াল-ট্যাগ সিস্টেম মানুষকে চূড়ান্ত সিদ্ধান্ত নিতে দেয় যখন AI বেশিরভাগ কাজ করেছে। এটি বিশ্বাসও তৈরি করেছে, যেহেতু মার্চেন্ডাইজাররা পাইপলাইন ভাঙা ছাড়াই প্রয়োজন হলে মডেলকে ওভাররাইড করতে পারে।

পারসিসটেন্স এবং নিয়ন্ত্রণ

সমস্ত ফলাফল সরাসরি একটি প্রোডাক্ট MongoDB ডেটাবেসে সংরক্ষণ করা হয়েছিল, আর্কিটেকচারকে সহজ এবং কেন্দ্রীভূত রেখে।

MongoDB হয়ে উঠেছে একক অপারেশনাল স্টোর:

• সাজানো অ্যাট্রিবিউট ভ্যালু
• পরিমার্জিত অ্যাট্রিবিউট নাম
• ক্যাটাগরি-স্তরের সর্ট ট্যাগ
• প্রোডাক্ট-স্তরের sortOrder ফিল্ড

এটি পরিবর্তনগুলি পর্যালোচনা করা, ভ্যালু ওভাররাইড করা, ক্যাটাগরি পুনঃপ্রক্রিয়া করা এবং অন্যান্য সিস্টেমের সাথে সিঙ্ক করা সহজ করে তুলেছে।

সার্চ ইন্টিগ্রেশন

সাজানো হলে, ভ্যালুগুলি প্রবাহিত হয়েছে:

• কীওয়ার্ড-চালিত সার্চের জন্য Elasticsearch
• শব্দার্থগত এবং ভেক্টর-ভিত্তিক সার্চের জন্য Vespa

এটি নিশ্চিত করেছে যে:

• ফিল্টারগুলি যৌক্তিক ক্রমে উপস্থিত হয়েছে
• প্রোডাক্ট পেজগুলি সামঞ্জস্যপূর্ণ অ্যাট্রিবিউট প্রদর্শন করেছে
• সার্চ ইঞ্জিনগুলি আরও সঠিকভাবে প্রোডাক্ট র‍্যাঙ্ক করেছে
• গ্রাহকরা আরও সহজে ক্যাটাগরি ব্রাউজ করতে পারে

সার্চ হল যেখানে অ্যাট্রিবিউট সাজানো সবচেয়ে দৃশ্যমান, এবং যেখানে সামঞ্জস্য সবচেয়ে গুরুত্বপূর্ণ।

আর্কিটেকচার ওভারভিউ

লক্ষ লক্ষ SKU জুড়ে এটি কাজ করার জন্য, আমি ব্যাকগ্রাউন্ড জব, AI যুক্তি এবং সার্চ ইন্টিগ্রেশনের চারপাশে নির্মিত একটি মডুলার পাইপলাইন ডিজাইন করেছি। নিচের আর্কিটেকচার ডায়াগ্রামটি সম্পূর্ণ প্রবাহ ক্যাপচার করে:

• প্রোডাক্ট ইনফরমেশন সিস্টেম থেকে প্রোডাক্ট ডেটা প্রবেশ করে
• অ্যাট্রিবিউট এক্সট্রাকশন জব অ্যাট্রিবিউট ভ্যালু এবং ক্যাটাগরি প্রসঙ্গ টানে
• এগুলি AI সর্টিং সার্ভিসে পাঠানো হয়
• আপডেট করা প্রোডাক্ট ডকুমেন্ট প্রোডাক্ট MongoDB-তে লেখা হয়
• আউটবাউন্ড সিঙ্ক জব সর্ট অর্ডার সহ প্রোডাক্ট ইনফরমেশন সিস্টেম আপডেট করে
• Elasticsearch এবং Vespa সিঙ্ক জব তাদের সংশ্লিষ্ট সার্চ সিস্টেমে সাজানো ডেটা পুশ করে
• API সার্ভিসগুলি Elasticsearch এবং Vespa-কে ক্লায়েন্ট অ্যাপ্লিকেশনের সাথে সংযুক্ত করে

এই প্রবাহ নিশ্চিত করে যে প্রতিটি অ্যাট্রিবিউট ভ্যালু, AI দ্বারা সাজানো হোক বা ম্যানুয়ালি সেট করা হোক, সার্চ, মার্চেন্ডাইজিং এবং গ্রাহক অভিজ্ঞতায় প্রতিফলিত হয়।

কার্যক্ষেত্রে সমাধান

এভাবে অগোছালো ভ্যালুগুলি রূপান্তরিত হয়েছিল:

| অ্যাট্রিবিউট | কাঁচা ভ্যালু | অর্ডার করা আউটপুট | |----|----|----| | সাইজ | XL, Small, 12cm, Large, M, S | Small, M, Large, XL, 12cm | | রঙ | RAL 3020, Crimson, Red, Dark Red | Red, Dark Red, Crimson, Red (RAL 3020) | | উপাদান | Steel, Carbon Steel, Stainless, Stainless Steel | Steel, Stainless Steel, Carbon Steel | | সংখ্যাসূচক | 5cm, 12cm, 2cm, 20cm | 2cm, 5cm, 12cm, 20cm |

এই উদাহরণগুলি দেখায় কীভাবে পাইপলাইন পরিষ্কার, সহজে বোঝার ক্রম তৈরি করতে প্রাসঙ্গিক যুক্তিকে স্পষ্ট নিয়মের সাথে একত্রিত করে।

রিয়েল-টাইম প্রসেসিং-এর পরিবর্তে অফলাইন জব কেন?

রিয়েল-টাইম প্রসেসিং পরিচয় করাত:

• অপ্রত্যাশিত লেটেন্সি
• উচ্চ কম্পিউটিং খরচ
• ভঙ্গুর নির্ভরতা
• অপারেশনাল জটিলতা

অফলাইন জব আমাদের দিয়েছে:

• ব্যাচ দক্ষতা
• অ্যাসিনক্রোনাস LLM কল
• রিট্রাই লজিক এবং এরর কিউ
• মানুষের পর্যালোচনা উইন্ডো
• পূর্বাভাসযোগ্য কম্পিউট খরচ

ট্রেড-অফ ছিল ডেটা ইনজেশন এবং ডিসপ্লে-এর মধ্যে একটি ছোট বিলম্ব, কিন্তু সুবিধা ছিল স্কেলে সামঞ্জস্য, যা গ্রাহকরা অনেক বেশি মূল্য দেয়।

প্রভাব

ফলাফলগুলি উল্লেখযোগ্য ছিল:

• ৩০ লক্ষ+ SKU জুড়ে সামঞ্জস্যপূর্ণ অ্যাট্রিবিউট অর্ডারিং
• ডিটারমিনিস্টিক ফলব্যাকের মাধ্যমে পূর্বাভাসযোগ্য সংখ্যাসূচক সাজানো
• ম্যানুয়াল ট্যাগিংয়ের মাধ্যমে মার্চেন্ডাইজার নিয়ন্ত্রণ
• পরিষ্কার প্রোডাক্ট পেজ এবং আরও স্বজ্ঞাত ফিল্টার
• উন্নত সার্চ প্রাসঙ্গিকতা
• উচ্চতর গ্রাহক আত্মবিশ্বাস এবং রূপান্তর

এটি শুধু একটি প্রযুক্তিগত জয় ছিল না; এটি ব্যবহারকারীর অভিজ্ঞতা এবং রাজস্বের জন্যও একটি জয় ছিল।

শিক্ষা

• হাইব্রিড পাইপলাইন স্কেলে বিশুদ্ধ AI-এর চেয়ে ভালো পারফর্ম করে। গার্ডরেইল গুরুত্বপূর্ণ।
• প্রসঙ্গ নাটকীয়ভাবে LLM নির্ভুলতা উন্নত করে
• থ্রুপুট এবং রেজিলিয়েন্সের জন্য অফলাইন জব অপরিহার্য
• মানুষের ওভাররাইড মেকানিজম বিশ্বাস এবং গ্রহণযোগ্যতা তৈরি করে
• পরিষ্কার ইনপুট নির্ভরযোগ্য AI আউটপুটের ভিত্তি

চূড়ান্ত চিন্তা

অ্যাট্রিবিউট ভ্যালু সাজানো সহজ শোনায়, কিন্তু যখন আপনাকে লক্ষ লক্ষ প্রোডাক্টের জন্য এটি করতে হয় তখন এটি একটি প্রকৃত চ্যালেঞ্জ হয়ে ওঠে।

LLM বুদ্ধিমত্তাকে স্পষ্ট নিয়ম এবং মার্চেন্ডাইজার নিয়ন্ত্রণের সাথে একত্রিত করে, আমি একটি জটিল, লুকানো সমস্যাকে একটি পরিষ্কার, স্কেলযোগ্য সিস্টেমে রূপান্তরিত করেছি।

এটি একটি অনুস্মারক যে কিছু বৃহত্তম জয় আসে বিরক্তিকর সমস্যাগুলি সমাধান করে, যেগুলি মিস করা সহজ কিন্তু প্রতিটি প্রোডাক্ট পেজে দেখা যায়।

\n \n \n