এই নতুন প্রযুক্তি এবং এর মতো সবকিছুকেই নষ্ট করে দিতে পারে GPT-4 এবং সম্পূর্ণ ভাবে নষ্ট করে দিতে পারে।

চ্যাটবট এইটির উপর জোরে পরিচিত আইপি প্রোগ্রাম নামে পরিচিত, যা ওপেনএআই থেকে আসা। এবং এর পরবর্তী প্রযুক্তিতে যার নাম জিপিটি-৪, এই প্রোগ্রামগুলি, শেষের পক্ষে, কেবলমাত্র সফ্টওয়্যার অ্যাপ্লিকেশন। এবং সব অ্যাপ্লিকেশনের মতো, এদের কিছু ক্ষমতার সীমাবদ্ধতা থাকতে পারে, যা তাদের কর্মক্ষমতা ভাল না করে দিতে পারে।

মার্চ মাসে প্রকাশিত একটি পেপারে, স্ট্যানফোর্ড বিশ্ববিদ্যালয় এবং কানাডার এমআইএলএ (AI) ইনস্টিটিউট তথ্যপ্রযুক্তি নিয়ে কাজ করা যা জিপিটি-৪ এর চেয়েও বেশি দক্ষ হতে পারে -- বা এর মতো আমন্ত্রণ সহ যেকোনো জিনিস -- বিশাল পরিমাণের ডেটা গ্রাহক করে এবং এরকম একটি উত্তরে পরিণত করে।

আরো কিছু: এই প্রাক-আপেল কর্মচারীরা এই যন্ত্রটি দ্বারা স্মার্টফোনগুলো প্রতিস্থাপন করতে চান

হায়েনা নামে পরিচিত এই প্রযুক্তি সুচরিত পরীক্ষাগুলি হিসাবে প্রশ্নের উত্তর দেওয়ার সময় একই মাত্রার নির্দিষ্টকরণ অর্জন করতে পারে, তবে বেশীরভাগ পর্যবেক্ষণ গণনা গুলোর সময় একটু হলেও বটে। কিছু সুযোগ থাকলেও, হায়েনা কোড এর মাধ্যমে এত বড় মাত্রার পাঠ সম্পর্কে কাজ করার সময় সহজলভ্যতা এবং মেমোরি সমস্যা গুলি হলেও সমাধান করতে সক্ষম।

"আমাদের সবকিছুই পাশ্বিক প্যারামিটার স্কেলে আশাবাদী ফলাফলগুলি ইমপ্লিমেন্ট করে যায়, যা বুঝাচ্ছে যে আমরা এক্সপার্টেশন বাস্তবায়নের বিষয়টিতে সীমাবদ্ধ নই," লেখকরা লিখেছেন। আপনিও বলতে পারেন সেটা ২০১৭ সালের একটি ঐতিহাসিক AI রিপোর্টের শিরোনামের উল্লেখ, 'Attention is all you need'। ঐ লেখায়, গুগলের বিজ্ঞানী আশিষ ভাস্বানি এবং সহকর্মীরা বিশ্বকে পরিচয় করিয়ে দিয়েছেন Google এর Transformer AI প্রোগ্রামের। এই Transformer হলো পশ্চিমে গত বছরগুলিতে গড়ে উঠা বড় ভাষা মডেলের ভিত্তি।

কিন্তু ট্রান্সফর্মারের একটি বড় দোষ আছে। এটি কোনও কিছুকে "যত্ন" ব্যবহার করে, যেখানে কম্পিউটার প্রোগ্রামটি একটি সিম্বলের একটি গ্রুপ থেকে তথ্যটি আনে একটি নতুন সিম্বলের একটি গ্রুপে, যেটি হল আপনি সম্প্রশ্ন কুকুরপেছেন, যা হল আউটপুট।

বাংলায়:জানিয়ে দিন GPT-4 কি? এখানে আপনার জানার সবকিছু আছে

সে মন্তব্য অপারেশনটি -- সকল বড় ভাষা প্রোগ্রামগুলির প্রায়শই প্রয়োজনীয় সরঞ্জাম, যেমন চ্যাটজিপিটি এবং জিপিটি- ৪ -- "বর্গমূলক" গণনাগতিক সঙ্কল্প (উইকি "ক্ষমতা সমস্যার" সংগণকের)। এই সঙ্কল্পের অর্থ হচ্ছে যে, চ্যাটজিপিটি উত্তর উত্পন্ন করতে যদি দেওয়া ডেটার পরিমাণের বর্গ অনুযায়ী বেড়ে যায় তবে এর জন্য প্রয়োজনীয় সময়ের পরিমাণও বৃদ্ধি পায়।

কিছু সময়ে, ডেটা অনেক হলে -- প্রম্পটে অনেক শব্দ বা ঘণ্টা ঘণ্টি গল্পের পাঠ্যসারের মাধ্যমে অনেক কথা বলার জন্য -- অথবা প্রোগ্রামটি জবাব দিতে চালিয়ে যাওয়ার (বাধান) সমস্যা হয়, অথবা তাকে তাড়াতাড়ি চালানোর (দ্রুত কম্পিউটিং শক্তি গ্রহণের) জন্য আরও আরও জিপিইউ চিপ্স দিতে হবে, যার ফলে কম্পিউটিং চাহিদা বৃদ্ধি পেলে।

নতুন পত্রিকা 'Hyena Hierarchy: Towards Larger Convolutional Language Models' এর মতামতে, যা arXiv প্রি-প্রিন্ট সার্ভারে পোস্ট করা হয়েছে, স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের নেতৃলিপি লেখক মাইকেল পোলি এবং তাঁর সহকর্মীরা প্রস্তাব করেছেন যে, হোয়াইন এই ট্রান্সফরমারের অটেনশন ফাংশন বদলাতে পারে, কিন্তু সংখ্যাগুলি হতে কম হতে হবে, তা হচ্ছে হায়েনা।

আরও কিছু:আগামীর শক্তিশালী AI টুল Auto-GPT সম্পর্কে জানুন

লেখকরা নামটি ব্যাখ্যা করে না, কিন্তু "Hyena" প্রোগ্রামের জন্য বেশ কিছু কারণ ভাবা সম্ভব। হায়িনা এমন এক প্রাণী যা আফ্রিকায় বাস করে এবং মারধর করার জন্য মাইলের মাইল সন্ধান করতে পারে। একটি সম্পূর্ণ শক্তিশালী ভাষা মডেল একটি হায়িনা এর মতই হতে পারে, মাইলের মাইল বাসায় শকার প্রাণী খুঁজতে।

তবে লেখকরা অত্যন্ত "সামাজিক তালিকা" এর সঙ্গে বেশি যত্নান্বিত, শিরোনামটি যেহেতু প্রকাশ করে, এবং হায়েনা পরিবারের পরিবারের সদস্যরা একটি স্থানীয় হায়েনা ক্লানের ভিন্নভাবে স্থানটির স্বরূপ নির্ধারণ করে, যার মাধ্যমে শাসকতা প্রতিষ্ঠা হয়। উপরোক্তটা অনুপ্রাণিত হতে পারে যা হয়েনা প্রোগ্রামটি খুব সহজ অপারেশনগুলির একটি সমন্বয়কে প্রয়োগ করে, যা আপনি দেখবেন, আরও বারবার করে প্রয়োগ করে, যাতে তা নথিপত্রের তালিকার আকারের একটি সম্বন্ধিত স্তর তৈরি করে। এই সাংযোজ্য উপাদানটি ইচ্ছা সঙ্গে দেয় সে শব্দটি যেটি দেয় প্রোগ্রামের হায়েনা নামটি।

যুক্তি:ভবিষ্যতে চ্যাটজিপিটির সংস্করণ মানুষের বর্তমানে করা অধিকাংশ কাজ প্রতিস্থাপন করতে পারে, বেন গোয়ের্তসেল বলছেন।

প্রবন্ধটির অবদানকারী লেখকগণ টিউটোরিং পুরস্কার ২০১৯ এর প্রাপক অর্জনকারী যোশুয়া বেঙ্গিও সহ এইচডাব্লিউআই জগতের প্রখ্যাত ব্যক্তিত্বগণ রয়েছেন। বেঙ্গিও পূর্বের যত্নসহ উন্নত আটেনশন মেকানিজমের উদ্ভবনের স্বামী হিসেবে সার্বিকভাবে স্বীকৃতি পেয়েছেন, যা ভাসওয়ানি এবং দল পরিবর্তন করে ট্রান্সফরমারের জন্য প্রযোজ্য করেছেন।

লেখকর মধ্যে স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞান সহযোগী অধ্যাপক ক্রিস্টফার রে ওয়ে রয়েছেন, যারা সর্বশেষ বছরের মধ্যে "সফটওয়্যার 2.0" হিসাবে AI উন্নতি করার ধারণাকে উন্নত করতে সহায়তা করেছেন।

সাব-কোয়াড্রাটিক চিন্তাভাবনা পেতে অটেনশনের এক বিকল্প নির্ধারণ করায়, পলি এবং তার দল অটেনশন মেকানিজম কি করছে সেটা অধ্যয়ন করতে গিয়ে, দেখতে উদ্দেশ্য ছিল ঐ কাজটি আরও দক্ষতার্হভাবে সংহত করা সম্ভব কিনা।

এমনকি এইচটিএমএল মন্তব্যে অনুশীলনের প্রতি একটি সাম্প্রতিক অনুশীলনও বলা হয়, যা যুক্তিসঙ্গত ব্যাপারে সর্বগ্রাহী হচ্ছে, যেটি নিউরাল নেটওয়ার্কের ভেতরে, কম্পিউটেশনাল "সার্কিট" এর ভেতরে কি ঘটছে সে সম্পর্কে আলোচনা করছে। আপনি এটি একটি ঘড়ি বা পিসি যেভাবে এর অংশগুলি নির্ণয় করে ও তার পরিচালনা কিভাবে হয় তাকে বোঝার জন্য নিজেদের সফটওয়্যারটি খোলার মত বিচ্ছিন্ন করা ভাবছেন।

এছাড়াও: আমি চ্যাট জিপিটি ব্যবহার করে ১২টি শীর্ষ প্রোগ্রামিং ভাষায় একই রুটিন লেখা করেছি। যাতে দেখুন কীভাবে হয়েছে

একটি কর্ম যার উদ্ধৃতি করা হয়েছে পোলি এবং দলের দ্বারা হ'ল একটি শেথা পরীক্ষামূলক গবেষণায় যার লেখক এলহেজ ট্রান্সফরমার প্রোগ্রামগুলি বিশ্লেষণ করে দেখতে যে বাঁচাও তা কীভাবে কাজ করছে।

মূল মনে ধরা হল, যে ইলহাজ ও দল খুঁটিয়ে বের করল সেটা হলো যে, ভালবাসা তা খুবই প্রাথমিক স্তরে কাজ করে, যেমন সহজ কম্পিউটার অপারেশনগুলি, যেমন সম্পর্কিত ইনপুট থেকে একটি শব্দ অনুলিপি করা এবং তা আউটপুটে পেস্ট করা।

যেমনটি, যদি কেউ হ্যারি পটার এবং সোর্সিসারের মোহাকাশে থাকা একটি বাগধারা মডেল প্রোগ্রামে লিখা শুরু করেন যদিও, "মিস্টার দার্সলি ছিলেন নামক একটি কোম্পানি এর নির্দেশক ...", এমনকি "ড-i-p" লিখলেই যথেষ্ট হবে প্রোগ্রামটি পূর্বের একটি বাক্যে দেখেছে তাই "ডার্সলি" কে সম্পূর্ণ করার জন্য। প্রোগ্রামটি মনোযোগ করে লেখার জন্য "ল-e-y" এর জন্য মেমোরি থেকে কপি করতে পারে।

আরোও: ভবিষ্যদ্বাণীকারী বলছেন, চ‍্যাটজিপিটি একটি 'পরমাণু বুদ্ধিমত্তা' ব্যতিক্রমকারী মানুষ মস্তিষ্কের চেয়ে বেশি প্রতিবেদন করে।

তবে, শব্দের পরিমাণ বাড়তে বাড়তে অবগতি অপারেশন কুইড্রেটিক জটিলতা সমস্যার সম্মুখীন হয়ে যায়। বেশি শব্দের প্রয়োজন করে এর কাজ করার জন্য যে প্যারামিটারগুলি পরিচিত হয়, সেগুলি "ওজন" বা সামগ্রিকভাবে অপারেশনটি চালানোর জন্য বেশি পরিমাণ প্রয়োজন।

লেখকরা লিখেছেন: "ট্রান্সফর্মার ব্লক সিকুয়েন্স মডেলিং একটি শক্তিশালী সরঞ্জাম, কিন্তু জন্যটা কম্পিউটেশনাল খরচ সীমিততাই এর সাথে সম্পর্কিত সবচেয়ে স্পষ্টভাবে দেখা যায়। ইনপুট সিকুয়েন্সের দীর্ঘতা বাড়লে এর কম্পিউটেশনাল খরচ দ্রুত বড়ায়।"

যখন নকশা গোষ্ঠী পিটি (ChatGPT) এবং জিপিটি-৪ (GPT-4) এর প্রযুক্তিগত বিবরণ ওপেনএআই দ্বারা উল্লেখ করা হয়নি, তবে বিশ্বাস করা হচ্ছে যে এগুলির প্যারামিটার ট্রিলিয়ন বা আরও বেশি হতে পারে। এই প্যারামিটারগুলি চালানোর জন্য নভিডির অধিক জিপিইউ চিপ প্রয়োজন, যাতে কম্পিউট খরচ বাড়ানো হয়।

কুয়াড্রেটিক গণনা ব্যয় কমাতে, পলি এবং দল টেনশন অপারেশনটি "কনভলিউশন" নামক একটিতে পরিবর্তন করেন, যা আই প্রোগ্রামগুলির সবচেয়ে পুরানো অপারেশনগুলির একটি, যা ১৯৮০ এর দশকে পাকস্থলে পরিষ্কার করা হয়েছিল। একটি কনভলিউশন মাত্র একটি ফিল্টার যা ডেটাতে আইটেম নির্বাচন করতে পারে, যেমন একটি ডিজিটাল ছবিতে পিক্সেলগুলি বা একটি বাক্যে শব্দগুলি।

আরো কিছু বিবেচনা: এইচটিএমএলে জানানো হয়েছে যে, চ্যাটজিপিটির সাফল্য এইআইতে শক্তিশালী একটি পরিবর্তন সৃষ্টি করতে পারে, যা এইআইতে গোপনীয়তা দিকে একটি ক্ষতিকর পালাতা দেওয়া যেতে পারে, এটি বলে আইআই পিওনির একজন প্রণামী বেঙ্গিও।

পলি এবং দলটি এক ধরণের ম্যাশ-আপ করে: তারা স্ট্যানফোর্ড গবেষক ড্যানিয়েল ওয়াই ফু ও দলের কর্মকাণ্ডকে ব্যবহার করে শব্দগুলির ক্রমবিন্যাস ফিল্টারের সাথে মিশ্রণ করে, এবং এটি হাওড় টেকনিশিয়াঞ্জের মাধ্যমে উপযুক্তভাবে পরিবর্তন এনে দেয়। সে প্রয়োগ ক্রিয়ার্যগুলি বদলকারিতার সমভাবনা যাতে প্যারামিটারগুলি, অথবা, কোনো ওজনকে সংখ্যায় কাম করাতে পারে।

ম্যাশআপের ফল হল একটি কনভোলিউশন নির্দেশ করা যেকোনো পরিমাণ লেখার উপর প্যারামিটারের দ্বারা আরও আরও ডেটা কপি করার জন্য প্যারামিটার প্রয়োজন হয় না। এটি একটি "অটোমেনট-মুক্ত" মতামত, যেমন লেখকরা বলেছে।

"বড় স্কেলে আটেনশনের সঙ্গে হায়েনা অপারেটররা মার্জিত মান ফাস্টপথে অতীব কম করতে পারছে," পোলি ও দল লেখা আছে, "খুব কম কম্পিউটেশনাল বাজেট এর সাথে একই বিস্তারগততা এবং ডাউনস্ট্রিম পারফরম্যান্স এ পৌঁছে যাচ্ছে।" পারপ্লেক্সিটি হলো এমন একটি প্রযুক্তিগত শব্দ যা চ্যাটজিপিটি (ChatGPT) প্রোগ্রামের মাধ্যমে উত্তর তৈরি হচ্ছে তা বোঝায়।

হায়েনা এর দক্ষতা দেখানোর জন্য, লেখকরা প্রোগ্রামটিকে একটি বিশিষ্ট এইআই কাজসমূহে কতটা ভাল পার করতে পারে সেটির উপর একটি সিরিজ বেঞ্চমার্ক টেস্টেই পরীক্ষামূলক।

আরো একটি বিবেচনা: 'সফটওয়্যারে অদ্ভুত নতুন কিছু ঘটছে,' বলছেন স্ট্যানফোর্ড এইআই প্রফেসর ক্রিস রে

একটি পরীক্ষা হলো "দি পাইল", একটি 825-গিগাবাইট সংগ্রহ যা 2020 সালে Eleuther.ai নামক একটি বিজাল বিদ্যা গবেষণা প্রতিষ্ঠান দ্বারা তৈরি হয়েছে। এই লেখাগুলি "উচ্চ-মানের" স্ত্রীলোক থেকে সংগৃহীত করা হয়েছে যেমন পাবমেড, আরিএক্সিভ, গিটহাব, ইউএস প্যাটেন্ট অফিস এবং অন্যান্য সং

প্রোগ্রামের জন্য মূল চ্যালেঞ্জ ছিল ইনপুট হিসাবে নতুন বাক্যগুলি পাওয়ার সময় পরবর্তী শব্দটি তৈরি করা। হায়েনা প্রোগ্রামটি সকল লক্ষণীয়ভাবে সংখ্যায়িত কার্যক্রমে আপেক্ষিক GPT প্রোগ্রামের সমতুল্য ফলাফল প্রাপ্ত করতে পারে, যা ২০% কম্পিউটিং কার্যক্রমের সাথে -- "GPT গুণমানের সহজবোধ এবং লক্ষণযুক্ত, সাধারণতঃ প্রথম অটিরঘটিত, কনভলুশন একাইটেকচার" হলেও কম্পিউটিং কার্যক্রমের সঙ্গে সংমিলিত হয়, গবেষকরা লিখে।

পরবর্তীতে, লেখকরা এই প্রোগ্রামটি সুপারগ্লু নামক মন্তব্য কাজে পরীক্ষা করেছেন, যা ২০১৯ সালে নিউ ইয়র্ক বিশ্ববিদ্যালয়, ফেসবুক এআই রিসার্চ, গুগলের ডিপমাইন্ড ইউনিট এবং ওয়াশিংটন বিশ্ববিদ্যালয়ের শিক্ষার্থীদের দ্বারা উদ্ভাবিত হয়েছে।

যেমন, "আমার দেহ ঘাসের উপর ছায়া ছিল" বাক্যটি নিলে, এবং এর জন্য দুইটি কারণের বিকল্প, "সূর্য উঠছিল" বা "ঘাস কাটা হয়েছিল" দেয়া হলে, প্রোগ্রামটি উপযুক্ত উপাদান হিসাবে "সূর্য উঠছিল" তৈরি করবে।

একাধিক কাজে, হায়েনা প্রোগ্রামটি গিপিটির একটি সংশ্লেষণের সাথে সমকীর্ণ বা সমর্পণ স্কোর অর্জন করেছে যখন এটি অবশেষে প্রশিক্ষিত হচ্ছিল অ্যাডিটিওনাল তথ্যের অবশিষ্ট অর্জনের জন্য কম পরিমাণ প্রশিক্ষণ তথ্যের উপরে।

এছাড়াও: নতুন বিং (এবং কীভাবে চ্যাটজিপিটি থেকে পাল্টেছে তা) ব্যবহার করা যাচ্ছে কিভাবে

আরও আবিষ্কারজনক বিষয় হলো যখন লেখকরা ইনপুট হিসাবে ব্যবহৃত শব্দের দৈর্ঘ্য বাড়িয়ে দিলে: এর মানে বেশি শব্দ মানে কার্যক্ষমতা বেতারকই বেসরকারিতা করে। ২,০৪৮ টোকেনস, যা আপনি শব্দগুলির ভিত্তিতে চিন্তা করতে পারেন, বাংলায় উপাদানের সম্পূর্ণ কাজ শেষ করতে অন্তরঙ্গভাবে সময় লাগার দরকারও কম হয়ে উঠে।

64,000 টোকেন পাওয়া হলে লেখকরা "হায়েনা স্পীড আপ করে 100x পর্যন্ত পৌঁছে গেল" - একটি একশগুণ করে কর্মক্ষমতা উন্নয়ন।

Poli এবং দলটি আলাদা উপায়ে হাইনা নিয়ে আলোচনা করে যে, তারা নিয়মিত ভাবে মাত্রা পালন না করেই "জুটিল বাড়িতে" বিদ্যমান একটি নতুন সংজ্ঞায়িত পরিবর্তন ঘটিয়েছে, যার ফলে কোনো প্রোগ্রামের ফলাফল গণনা করা কতটা কঠিন সে পরিবর্তী হয়েছে।

তারা পরবর্তীতে মানের ক্রমবর্ধমানের দিকে ঝাপসা দেখতে দিচ্ছেন: "কোয়াড্রেটিক সীমা ভাংতে একটা গুরুত্বপূর্ণ ধাপ হতে পারে নতুন সংযোগ গুলো গভীর অধ্যয়নের জন্য, যেমন পুরো টেক্সটবুক কে প্রেক্ষাপটে ব্যবহার করা, লম্বা-যুগল সঙ্গীত তৈরি করা বা গিগাপিক্সেল স্কেল ছবি প্রপসেস করা," তারা লেখেন।

হায়েনার একটি ফিল্টার ব্যবহার করার সামর্থ্য জুড়ে লেখকরা লিখেন, বাংলা ভাষায় প্রোগ্রামের জন্য কিছুটা "সন্দর্ভ" এর কোনো সীমা নেই। এর মাধ্যমে বর্তমান কথা ও আলাপের মধ্যস্থ থেকে দূরে থাকা পূর্ববর্তী লেখার উপাদানগুলি এনে স্মরণ করতে পারে - ঠিক হায়েনার মতন যেমন কিছু মাইলস দূরে সাপ পাতানোর জন্য।

অতএবও: সেরা এইচটিএমএল চ্যাটবট: চ্যাটজিপিটি এবং আরও মজাদার বিকল্প চেষ্টা করুন

"হয়েনা অপারেটররা সীমাহীন প্রসঙ্গ রাখে," তাদের লেখা আছে। "অর্থাৎ, উদাহরণস্বরূপ, স্থানীয়তা পরীক্ষা না করে সেই অংশগুলির মধ্যে দীর্ঘদূরের সংযোগের প্রতিটি প্রতিরোধ করতে পারে।"

উচ্চারণঃ এছাড়াও, শব্দগুলির সাথে সঙ্গতিপূর্নভাবে প্রোগ্রামটি ছবি এবং সম্ভাবতই ভিডিও এবং শব্দগুলিতে তথ্য প্রযোজ্য করা যেতে পারে।

গম্ভীর বিবেচনা করা উচিত যে পেপারে প্রদর্শিত হায়েনা প্রোগ্রামটি GPT-4 বা পূর্বের জিপিটি-3 এর তুলনায় আকারে ছোট। GPT-3-তে ১৭৫ বিলিয়ন প্যারামিটার বা ওজন আছে, কিন্তু হায়েনা-র সর্বাধিক বড় সংস্করণে মাত্র ১.৩ বিলিয়ন প্যারামিটার আছে। কারণে, যায় দেখা যাবে না যে হায়েনা গিটি-3 বা ৪-র সম্পূর্ণ প্রতিযোগিতায় কতটা ভালো করে পারবে।

তবে, যদি হায়েনা প্রোগ্রামের বড় সংস্করণগুলিতেও প্রাপ্যতা উল্লঘ্য হয়, তাহলে এটি আপগ্রেডের একটি নতুন ধরণ হতে পারে যেটি গত দশকের মতো প্রচলিত হতে পারে।

পলি এবং দলটি এমনভাবে নির্ধারণ করেছেন: "হায়েনা এমনভাবে প্রতিষ্ঠা করা যেতে পারে, যা সহজ নিয়মাবলীগুলি এবং কার্যচলন বৈশিষ্ট্যের মান মূল্যায়নে ভিত্তি করে, মহান মডেলগুলির জন্য দক্ষ প্রতিষ্ঠান হিসেবে ব্যবহৃত হতে পারে।"