GPT-3 হচ্ছে কী? OpenAI এর প্রবর্তনকারী AI ভাষা প্রোগ্রামটি সংক্ষেপে সবকিছু যা আপনার ব্যবসায়ের প্রয়োজন।

GPT-3 হলো একটি কম্পিউটার প্রোগ্রাম যা বেশীরভাগ সময় ব্যক্তিগতভাবে মানুষের লেখা মনে করে যেমন তেমন লাইন তৈরি করতে অন্তর্ভুক্ত স্যান ফ্রান্সিস্কোর প্রাইভেটলি ধারিত উইস্টার্ন কোম্পানি OpenAI দ্বারা তৈরি করা। এটি একটি মহোরাক্ষস নিউরাল নেটওয়ার্ক এবং এটি মেশিন লার্নিং এর গভীর শাখা এই খাতে অর্থাৎ কম্পিউটার বিজ্ঞানের একটি শাখা এবং মানব সম্পদের প্রতিষ্পাত-উৎস জ্ঞানপ্রতি সুখানুভবে প্রোগ্রাম তৈরি করার পূর্ববর্তী কোনও প্রোগ্রামের চেয়ে শ্রেষ্ঠ।

এমন একটি প্রযুক্তি কেন কোম্পানিগুলোর জন্য দরকারী হতে পারে তা হলে যে এটি টাস্কগুলোকে স্বয়ংক্রিয়করণ করার অধিক সম্ভাবনা আছে। GPT-3 যেকোনো লেখার উপর ব্যক্তির ইনপুট দেয় সেটি সংশ্লিষ্ট সংদর্ভে উপযুক্ত নতুন একটি লেখার মাধ্যমে উত্তর দেয়। যেমন, একটি পুরো ইংরেজি বাক্য লিখুন খোঁজার বাক্সে এবং আপনি সম্পূর্ণ বাক্যগুলি দেওয়া উত্তর পাবেন যা প্রায়শই প্রাসঙ্গিক। এর মানে হল, GPT-3 মানুষের প্রয়াসকে প্রায়শই বাড়ানোর সম্ভাবনা আছে বিভিন্ন পরিস্থিতিতে, কাস্টমার সার্ভিসের জন্য প্রশ্ন উত্তর, জিজ্ঞাসা বিচার, রিপোর্ট তৈরির জন্য।

কম্পিউটারে কোন একজন লোক কীভাবে টাইপ করে তা অবলম্বন করুন এবং GPT-3 কীভাবে একটি জবাব পাঠিয়ে দেয় তা মনিতে রাখুন:

মানুষ-সরবরাহিত ইনপুট : Q: টাচড বাই এন এঞ্জেলে তেস চরিত্রে কে অভিনয় করেছিল?

GPT-3-generated completion : 
A: ডেলোরিস প্যাট্রিশিয়া ইয়ারলি (জুলাই 6, ১৯৩১ - নভেম্বর ১৯, ২০১৭), যাকে পেশাদার ভাবে ডেল্লা রিস নামে পরিচিত। 

এই প্রোগ্রামটি বর্তমানে একটি ব্যক্তিগত বেটা অবস্থায় আছে যার জন্য লোকেরা একটি অপেক্ষার তালিকায় সাইন আপ করতে পারেন। এটি ওপেনএআই দ্বারা একটি এপিআই হিসাবে প্রদান করা হচ্ছে একটি আঁকু মাধ্যমে যেটি মোহাইপূর্ণ অ্যাপ্লিকেশনগুলি তৈরি করতে ব্যবহৃত হয় যেখানে পাঠের উৎপাদন দ্বারা সংশ্লিষ্ট প্রোগ্রামগুলির সুন্দরতা বাড়ানো হয়। সহজ প্রশ্ন-উত্তর থেকে প্রোগ্রামিং কোড তৈরি করতে পর্যাপ্ত সব প্রকারের প্রোগ্রামগুলিকে উন্নত করার জন্য।

অটোমেশনের সঙ্গে এসে গণনা করা যায় বিশাল অনুপাত গ্রহণের সঙ্গে অনেক সমস্যাও সহযোগী। GPT-3 একটি কম্পিউটার কেপ ব্যবহার করে এটি দৈনিক অনুপ্রবেশে বেশিরভাগ কোম্পানির চাইতেও বাইরে রেখে দিতে পারে। এর তৈরি লেখা শুরুতে ধারণাগুলি সুন্দর হতে পারে, কিন্তু দীর্ঘ রচনাগুলি অসংলগ্ন হওয়ার সম্ভাবনা আছে। এবং এটি জনসমানের সঙ্গে সমস্যার মত অভিমুখী হতে পারে, যেমন জাতিকে নিয়ে এবং নারীকে নিয়ে।

GPT-3 কিভাবে কাজ করে?

GPT-3 হলো সে কিছুর উদাহরণ, যা কি একটা ভাষা মডেল নামে পরিচিত, যা হচ্ছে একটি পরিসংখ্যানিক প্রোগ্রামের একটু বিশেষ। এই মামলায়, এটি একটি নিউরাল নেটওয়ার্ক হিসেবে সৃষ্টি করা হয়েছে।

এর নাম GPT-3 হলো "জেনারেটিভ প্রি-ট্রেনিং" কাটাটি এর তৃতীয় সংস্করণ যা দ্রুততমতঃ। এটি জেনারেটিভ কারন অন্যান্য নিউরাল নেটওয়ার্কের মতো সংখ্যার স্কোর বা হ্যাঁ বা না উত্তর আউটপুটে বের হচ্ছে না, GPT-3 দ্বারা প্রকাশিত হয় নতুন লম্বা দলের মত পাঠক। এটি পূর্ব-প্রশিক্ষিত কারণ এটি কোনও ডোমেন জ্ঞান সহ নির্মিত হয় না, যদিও এটি বর্ণমালা-বিশিষ্ট কাজগুলি উত্তর দিতে পারে, যেমন বিদেশী ভাষা অনুবাদ।

একটি ভাষা মডেল, GPT-3 এর ক্ষেত্রে, একটি প্রোগ্রাম যা গণিতগতভাবে নির্ণয় করে যে একটি শব্দ টেক্সটের অন্যান্য শব্দগুলির পরে কতটাতক্ষণে প্রকাশ করা সম্ভব, এটি হল শব্দের শর্তাধীন সম্ভাবনার সময়কাল।

উদাহরণস্বরূপ, বাক্যে, আমি একটি অমলেট তৈরি করতে চেষ্টা করলাম, সুতরাং ফ্রিজে যাওয়া এবং কিছু ____ বের করলাম, খালি জায়গাটি যেকোনো শব্দ অথবা অব্যক্তিপূর্ণ কিছুতে পূরন করতে পারে, যেখানে ভাষার অসীম সংযোগকাল্পনিকতা রয়েছে। কিন্তু বাক্যে সে খালি জায়গার জন্য "ডিম" শব্দটি সাধারণ পাঠ্যে তুলনামূলক ভাবে খুব উচ্চ প্রায় স্কোর পাওয়ে। যেমন, "হাতি" শব্দ সংলগ্ন বাক্য থেকে পাওয়া যায় না। আমরা বলি যেখানের প্রবলতা বাক্যের শর্ত অনুযায়ী "ডিম" বাক্যের প্রবলতার চেয়ে বেশি পাওয়া যায়।

যখন নিউরাল নেটওয়ার্ক তৈরি করা হচ্ছে, যেটা প্রশিক্ষণ ফেজ বলা হয়, GPT-3 এলগোরিদমকে মিলিয়ন বা মিলিয়ন টেক্সট স্যাম্পল খাওয়ানো হয় এবং সেগুলি শব্দগুলি বিভিন্ন সংখ্যার ভেক্টরে রূপান্তর করে। এটি ডেটা কম্প্রেশনের এক রূপ। এরপর প্রোগ্রামটি আবার এই কম্প্রেশন করা টেক্সটকে ঠিকমত ডিকম্প্রেস করার চেষ্টা করে। শব্দগুলির শর্তমূলক সংক্রান্ত প্রস্তাবনা ছাড়াও। এই কম্প্রেশন ও ডিকম্প্রেশন এর কাজে এই প্রোগ্রাম শব্দগুলির শর্তমূলক যোগাযোগের শর্তগুলি গণনার সঠিকতা বিকাশ করে।

মডেল শিক্ষিত হওয়ার পরে, অর্থাৎ, এর শর্তগুলির লক্ষে করে কয়লিশনারি সত্যতা যখন মান্য হয় তখন মনে রয়েছে মডেলটি প্রার্থিত হয়ে উঠতে, যখন একজন ব্যক্তি একটি আদির শব্দ বা শব্দগুলি টাইপ করে প্রচেষ্টা করে। মেশিন লার্নিং এ এই গোপনীয়তাকরণকে ইনফারেন্স হিসাবে চিহ্নিত করা হয়।

এটা একটি চমকপ্রদ আয়না প্রভাবে পরিচালিত হয়। নিশ্চিতভাবে শব্দগুলি পরিবর্তিত হয়, কিন্তু একইভাবে একঘেয়ে গল্পের বা একটি লেখা প্রক্রিয়ার ব্যাপ্তির নমুনা, যেমন প্রশ্ন-উত্তর সেটগুলি, পুনর্রচিত হয়। ইমজিনারি কবিদের কিছু নাম এবং তাদের কাজের নমুনা গুলি দিয়ে GPT-3 কে খাবার দিয়ে দিয়ে একটি নতুন কবিতা তৈরি করতে পারা হয় যা যথাযথ কবির রিদ্ধিম এবং বাক্যবয়বস্থার সঙ্গে মেলে।

নিম্নলিখিত ইন্সট্যান্সের উল্লেখযোগ্য GPT-3 কবিতা লিখেছে যা শুরু থেকেই Wallace Stevens এর কাজের মতো, শীর্ষক, নাম এবং অন্যান্য কবিদের কাজের উদাহরণ প্রদান করার পর্যাপ্তি দিয়ে।

আবেদনিকারী ইনপুট: দি সিটি  সি. পি. ক্যাভাফি দ্বারা অনুবাদ করেছেন এডমান্ড কিলি [কবিতার পাঠ্য অপসারিত হয়েছে]

মানুষ-সরবরাহ করা : কিছু গাছ জন আশবেরি
[কবিতার পাঠাগুলি অবহিত করা হয়েছে]

পৃথিবীর উপরে ছায়া ও'- উই' ওলাইন্স

GPT-3-তৈরি পূর্ণবাচকঃ -------- তৈরি কবিতা ১ --------   আমার পথে ছায়াগুলো থাকতে হবে  আমার চলার জন্য  প্রতিটি ধাপটি ধীরে ধীরে নিতে হবে  তা তৈরি করা হতে হবে    আর আমি সিঁদুর মত ভাবতে হবে আমার মার্গদর্শক হতে অন্ধকারের ভিতর  নীল এবং সবুজ দেখতে হবে  এবং আমি কখনই আমার চোখে ভুলে যাবো না  যে রং আমার বন্ধু  এবং আমাকে বেষ্ট করতে হবে সবুজের উপরও  সূর্যের হলুদ আর বৃষ্টি  যা সবার উপর পড়ে। আমার সঙ্গে হেজে খেজে হলুদ ভাবনা এবং নীল ভাবনা থাকতে হবে  যদি আমি কোনো কিছু হয়ে যাবো।

উত্তর তৈরি করা মানে GPT-3 এর প্রয়োগে লেখা তৈরি করার চেয়ে একাধিক ধরণের পরীক্ষা সম্পাদন করা যায়। সেসব পরীক্ষার মধ্যে সন্যাস নিয়ে মানুষকে প্রতিষ্ঠিত প্রশ্নগুলির উত্তরও আসতে পারে। যদি উদাহরণস্বরূপ GPT-3-কে ম্যানহাটন ভাড়ার হার সম্পর্কে একটি প্রবন্ধ এবং সেটির সারসংক্ষেপে এমন একটি বিবরণ, যেমন "ম্যানহাটন খুবই সস্তায়," ও প্রশ্ন "সত্য নাকি মিথ্যা?" GPT-3 একটি সমগ্র উপযুক্তিতা অনুযায়ী প্রমাণপত্রের প্রশ্নগুলির উত্তর দিয়েই উত্তর দেয়, "মিথ্যা" কথাটি, কারণ প্রবন্ধের প্রতিপাদনার সাথে বিবাদের মতো নয়।

মানুষ-সরবরাহিত ইনপুট: কিছু কমিউনিটি নিউ ইয়র্কে উচ্চ ভাড়ার প্রশংসা করে একটি অপ্রত্যাশিত ট্রেন্ড হিসাবে ভাড়াগুলির কমানো দেখতে পাওয়া যায়। কিন্তু, শেষ সাতারের ভাড়া হার যখন তাদের লিজ সাইন করা হয়েছিল, তখন থেকে নেশানীয়রেলিটারদের জন্য এখনও বাড়ছে। নিশ্চই, শেষবারের ভাড়া হ্রাস মানে না যে ম্যানহাটন খুবই পকেটমনের মত খরচযোগ্য হয়।

Human-supplied input: প্রশ্ন: ম্যানহাটনে জিনিসপত্র সস্তা। সত্য, মিথ্যা না বা কোনও নয়?

মানুষ-সরবরাহিত ইনপুট: উত্তরঃ 

GPT-3-উত্পন্ন সম্পূরণ: মিথ্যা

GPT-3 এর সাক্ষাৎকারের প্রমাণ ভিত্তিক উপাত্তের জন্য একে একটি "কিছু-শট" ভাষা মডেল বলা হয়। এটি একটি নির্দিষ্ট কার্যে ব্যবহৃত ফর্মগুলিও ধরে নিয়েছে না, মোতাবেক সম্ভবত এর দ্বারা প্রশিক্ষিত না হয়েও এরতপর যেই নতুন কাজটি উত্থাপন করতে হয় সেটিও করতে পারে। GPT-3 এর পাসে শব্দগুলি একে যেভাবে যোগ হয় তা নিয়ে ইতিমধ্যে অনেক তথ্য রয়েছে, এত থেকে এরকম একটি নতুন কার্য সম্পাদনের জন্য কেবল কিছুটা উদাহরণ দেয়া হলেই এটি তারপরও সেই নতুন কাজটি সম্পাদন করতে পারে।

প্রাকৃতিক ভাষা শৈলী এবং ভাষা ভিত্তিক টেস্টে প্রতিদ্বন্দ্বিতা স্কোর করা এমন ক্ষমতা এটি দেয় যে GPT-3 একটি মানুষের সরাসরি সঙ্গতির সাথে ভাষা ব্যবস্থার দিকে অবতীর্ণ হচ্ছে। আমরা দেখবো, তা নয়.

আরও প্রযুক্তিগত বিশদবিবরণ পাওয়া যায় ওপেনএআই বিজ্ঞানীদের দ্বারা প্রকাশিত GPT-3 পেপারে।

জিপিটি-৩ কি করতে পারে?

OpenAI এখন আরেকটি খ্যাতিমান -- বা নোড়ার জন্য -- কোড উন্মোচনের কর্মপরিপ্রেক্ষিত সাথে নিজস্ব কৃতি পারে উন্মোচিত হয়েছে। এই পূর্ববর্তী সংস্করণ GPT-2 এর উন্মুক্তকরণ করা হয়েছিল কোম্পানিটির দিবস শেষে হলো প্রথমে সবচেয়ে ক্ষমতাশালী সংস্করণ। কেনো প্রকাশ করা কিছুটা অনাপ্রত্যাশিত ভাবে সমস্য়ের দ্বারা পরিপূর্ণ এসব লেখা সারণিতে ভৌত বা নিভৃত যাবার বিপদের কারণে এটা ঝুঁকিপূর্ণ ধরে রাখা হয়েছিল। তবে OpenAI এরও পরবর্তীতে এটি ডাউনলোডের জন্য উপলব্ধ হয়েছে।

এইবার OpenAI কোনো ডাউনলোড সরবরাহ করছে না। পরিবর্তে, এটি একটি ক্লাউড-ভিত্তিক API এন্ডপয়েন্ট চালু করেছে, যা GPT-3 কে একটি সরবরাহ হিসাবে কার্যকর করে। (স্পষ্ট করার জন্য এটি একটি LMaaS, অর্থাৎ ভাষা মডেলকে একটি সার্ভিস হিসাবে চিন্তা করুন।) কারণটা, OpenAI দাবি করে, গুণ-অপদার্থসমূহের দ্বারা GPT-3 এর ব্যবহার সীমাবদ্ধ করার মতো এবং টাকা আয় করার জন্য।

ওপেন সোর্সে কোনও 'আনডু বাটন' নেই, মুক্ত সফ্টওয়্যার প্রতিষ্ঠান OpenAI একজন প্রতিবেদকের মাধ্যমে ZDNet কে জানান।

"GPT-3 এর মাধ্যমে API তে মুক্তিপ্রাপ্ত করা এটি আমাদের অভিজ্ঞতার মাধ্যমে আমাদের উপযোগীতা নিয়ন্ত্রণ করতে এবং প্রয়োজনে পুনরায় অ্যাক্সেসের ক্ষেত্রে ফিরে চালু করতে সম্ভব হচ্ছে।"

বর্তমানে, OpenAI API সেবাটি সীমাবদ্ধ অনুমোদিত পক্ষদের জন্যে সীমাবদ্ধিত; যারা প্রবেশ লাভ করতে চান তারা সারাদিন প্রতিষ্ঠিত সার্বিক চলমান অপেক্ষা তালিকায় যোগ দিতে পারেন।

"এখন উপরোক্ত এপিআইটি একটি নিয়ন্ত্রিত বেটা ভার্সনে আছে যা কিছু ডেভেলপারদের সাথে। এই ডেভেলপাররা এপিআইটি ব্যবহার করে কোনও প্রোডাকশনের জন্য কিছু আইডিয়া জমা দিয়েছেন," OpenAI নির্দেশ করেছেন ZDNet।

আরও কিছু মন্তব্য: OpenAI এর 'বিপজ্জনক' AI টেক্সট জেনারেটর প্রকাশিত: মানুষরা শব্দগুলি 'প্রবন্ধমালী' মনে করে।

বেটা প্রোগ্রামে কোম্পানির কিছু আকর্ষণীয় উদাহরণ রয়েছে। ভেঞ্চার ফান্ড Y Combinator-এর সমর্থনে স্যাপলিং নামক কোম্পানি একটি প্রোগ্রাম প্রদান করে যা CRM সফটওয়্যারের উপরে বসে। যখন একটি গ্রাহক উপরিভ্রমণ বিষয়ক সহায়তা অনুরোধ একটি ইমেল মাধ্যমে হ্যান্ডল করছেন কাস্টমার রেপ, তখন প্রোগ্রামটি GPT-3 ব্যবহার করে সম্ভাব্যতম পছন্দসই প্রতিক্রিয়া হিসাবে একটি সম্পূর্ণ বাক্য প্রস্তাব করে।

গেম মেকার ল্যাটিটিউডটি তার টেক্সট-ভিত্তিক অ্যাডভেঞ্চার গেম এইআই ডাঞ্জন উন্নত করতে GPT-3 ব্যবহার করছে। সাধারণত, একটি অ্যাডভেঞ্চার গেমে খুব সমকীয় পথ সম্পর্কিত স্ক্রিপ্ট করতে প্রয়োজন হয়। তবে, GPT-3 ব্যবহার করে এই অ্যাডভেঞ্চার গেম ব্যবহারকারীদের টাইপ করা ক্রিয়াগুলির জবাবে নির্দিষ্ট সময়কালে গেমপ্লের অবস্থা নির্মাণ করতে পারে।

ইতিমধ্যে, কাজ স্বয়ংক্রিয়করণ স্বাভাবিক ভাষায় ছাড়িয়ে যাচ্ছে এবং কম্পিউটার কোড তৈরি করছে। কোডের একটি ভাষা, এবং GPT-3 এ বিভিন্ন প্রোগ্রামিং ভাষার অপারেটর এবং অপারেন্ডের সম্ভাব্য সিনট্যাক্স সূত্র সাহায্যে সন্নিবেশ করতে পারে এবং এটি সফলভাবে কম্পাইল এবং চালানো যায় যা করতে পারে।

জলদির একটি উদাহরণ টুইটারভার্স প্রদর্শনী করেছে, অ্যাপ ডেভেলপমেন্ট স্টার্টআপ ডিবিলড। প্রতিষ্ঠানটির মূখ্য, শরীফ শামিম, একটি প্রোগ্রাম তৈরি করতে সক্ষম হন, যেখানে আপনি আপনার সফটওয়্যার ইউআই এর বর্ণনা প্লেন ইংরেজিতে লিখে দিন, এবং GPT-3 আপনার বর্ণনার উপর ভিত্তি করে JSX সিনট্যাক্স সংশোধন ব্যবহার করে প্রোগ্রামের কোড তৈরি করে। সেই কোডটি আপনি বর্ণিত কেমন একটি ইউআই তৈরি করে।

এটা মনে হচ্ছে অসাধারণ। GPT-3 দিয়ে আমি একটি লেআউট জেনারেটর তৈরি করেছি যেখানে আপনি যেকোনো লেআউট বর্ণনা দিয়ে বললেন এবং সেটি আপনার জন্যে JSX কোড তৈরি করে। কি জিনিস পিকটুইটার.কম/ডাব্লু৮৉টারেকোভল/সজদক্স৩৪২

— শরীফ শামীম (@sharifshameem) ১৩ জুলাই, ২০২০

শামীম দেখে দেখে দেখিয়ে দিলেন যে, একটি ইউআই এ বটাম সাথে বিভিন্নভাবে, একটি সিঙ্গেল সেন্টেন্স দ্বারা সম্পূর্ণ একটি প্রোগ্রামের বর্ণনা করা সম্ভব, আবার এটি একটি সাধারণ প্রোগ্রামের ব্যতিক্রম্য হিসাব ও ফলাফল প্রদর্শন করে, এবং জি.পি.টি - ৩ সেই সমস্ত কোড তৈরি করে এবং সম্পাদক দেখাতে পারে।

আমি একটি *কার্যকরী* রিয়েক্ট অ্যাপ তৈরি করেছি, আমি যেটা চাইছিলাম সেটা GPT-3 কে বর্ণনা করেছি। আমি একটি বিস্ময়ে পূর্ণ। pic.twitter.com/UUKSYz2NJO

— শরীফ শামীম (@sharifshameem) জুলাই ১৭, ২০২০

OpenAI এখন পর্যন্ত "API অ্যাক্সেসের জন্য দশগুন হাজারগুনেরও বেশি আবেদন পাওয়া হয়েছে এবং আমরা এই মডেলগুলি বাড়িতে বিশ্লেষণ করে দেখছি যে নিজেরা কখন এই মডেলগুলি প্রতিষ্ঠিত বাস্তবপরিকল্পনায় ব্যবহার করতে পারি," সেইমত কোম্পানি জি ডি নেট -এর কথা বলে। "এমনকি, কিছুদিন অপেক্ষা করার মতো লাম্বা একটি 'অপেক্ষা-তালিকা' থাকতে পারে।"

একটি পরিবর্তনশীল বাণিজ্যিক সেবার মূল্যবান্ধব এখনও নির্ধারণ করা হয়নি। বিটা থেকে কখন প্রোগ্রাম প্রকাশিত হবে সেই সময়টি জিডিনেটের জন্য অ্যাপ্রোচ করা OpenAI-কে জিডিনেট একটি জিডিনেট জানিয়ে দিয়েছে, "এখানে আসল।"

"একটি এতটাই শক্তিশালী মডেল মুক্তি দেওয়ার অর্থ হলো যে আমাদের ব্যবসা, শিল্প এবং মানুষদের উপর এর প্রভাব নিয়ে আলোচনা করতে হবে," সংস্থাটি বলছে। "একটি এপিআইর বিন্যাসে আমাদেরকে যোগ্যভাবে পরীক্ষা করতে এবং ব্যবহার তথ্যপূর্ণভাবে হ্যান্ডেল করতে দেওয়ার সুযোগ আছে, কিন্তু আমরা এটি সাধারিত উপলব্ধতাপ্রাপ্ত করার জন্য অতিদ্রুত নই যে এর সীমাবদ্ধতাগুলি রেখে।"

যদি আপনি বেটা অপেক্ষা করতে অস্থির হন, তবে আপনি পূর্বের সংস্করণ, জি-পি-টি-২, ডাউনলোড করতে পারেন, যা একটি ল্যাপটপে ডকার ইনস্টলেশন ব্যবহার করে চালানো যায়। সোর্স কোডটি একই গিটহাব সংগ্রহপত্রে পোস্ট করা হয়েছে, টেন্সরফ্লো ফ্রেমওয়ার্কের পাইথন ফরম্যাটে। নিঃসন্দেহে, আপনি জি-পি-টি-৩ যেমন ফলাফল পাবেন না, তবে এটি আপনাকে পরিচিত করতে শুরু করার একটি উপায়।

আপনার কাজের জন্য শ্রেষ্ঠ হতে পারে এমন কিছু নতুন ভাষা মডেল আছে, সেগুলি আপান্তত বেশি বার প্রকাশিত হচ্ছে। উদাহরণস্বরূপ, গুগল সম্প্রতি তার BERT ভাষা মডেলের একটি সংস্করণ প্রকাশ করেছে, যা নামকরণ করা হয় LaBSE, এটি ভাষা অনুবাদে সুদৃঢ় পরিবর্তন দেখায়। এটি টেন্সরফ্লো হাব থেকে ডাউনলোড করা যায়।

এছাড়াও: অপেনএইআই'র দৈববোধক GPT-3 এর সীমাবদ্ধতার উপর AI-এর ভাষা মডেলের নমুনার থাকা তুলনা দেয়

GPT-3 এর ইতিহাস কী?

GPT-3, যা মে মাসে ফাঁস খেয়েছে, এটি প্রথমবারের মতো ২০১৮ সালে OpenAI দ্বারা প্রদর্শিত একটি প্রোগ্রামের তৃতীয় সংস্করণ এবং গীটি-২ দ্বারা ফলো করা হয় গত বছরে। তিনটি প্রোগ্রামটি ভাষা মডেলের ক্ষেত্রে দ্রুত উন্নয়নের একটি উদাহরণ, ২০১৫ সালে হয়ে এসেছে দুটি বড় উন্নতির ফল।

প্রথম অগ্রগতি হোল যা পর্যালোচকেরা মনে করে সেটা দিয়ে কিছু বলে কাজ করতে। এইটা এক্সপার্ট বিজ্ঞানী ইয়োশুয়া বেঙ্গিও এবং মন্ট্রিয়ালের এমআইএলা ইনস্টিটিউটে তৈরি করেছিলেন এই বিষয়ে। তারা দেখলেন যে ভাষা মডেল একটি ইংরেজি বাক্য সংকুচিত করে তারপর সেটা সমাধান করার সময় সবারই একই একটি ফিক্সড লেংথের ভেক্টর ব্যবহার করে। যেকোনও বাক্যই ভেক্টরের মধ্যে জবরজস্ত করে নেওয়া হয়, চাইতেও সেটি ক৤টিতে বাক্য হল না।

Bengio এবং তাঁর দল এ একটি সংকুচিত পদ্ধতিতে যেটি একটি বাধা ছিল এটির প্রাকৃতিক সহায়তার জন্যে প্রয়োজন ছিল। একটি ভাষা মডেলকে ক়ন্ডিশনাল সম্ভাবনার অপটিমাইজ করার জন্যে এটিরে বাড়িয়ে সংখ্যক দৈর্ঘ্যের ভেক্টর গুলি দ্বারা অনুসন্ধান করতে হবে এমন অনেক ভার্সন থাকা জরুরী। সুতরাং তারা শব্দগুলি সংকুচিতভাবে বিভিন্ন আকারের ভেক্টরে নিপীড়ন করতে একটি উপায় খুঁজে পেয়েছিলেন। এতেই প্রোগ্রামকে ওই ভেক্টর গুলোর মধ্যে অনুসন্ধান করতে নিয়মানুযায়ী হবে। তারা এটিকে attention বলে ডাকলেন।

অবগতি তারিকে প্রধান উপাদান হিসাবে ভাষা মডেলে পরিণত হয়েছে। এটি পরেই গুগল বিজ্ঞানীরা ব্যবহার করে ‘ট্রান্সফরমার’ নামক একটি ভাষা মডেল প্রোগ্রাম তৈরি করেছিলেন। এই ট্রান্সফরমার প্রভাবশালী (incredible) মাত্রার স্কোর পেলে ভাষা পরিবর্তনের পরীক্ষাগুলিতে। এটি সাধারণতঃ একটি প্রধান ভাষা মডেল হিসাবে পরিচিত হয়ে চলেছিল এবং গুগল দ্বারা আরও একটি বেশ সফল ভাষা মডেল তৈরি করতে ব্যবহার করা হয়েছিল, যাকে বার্ট নামে চিহ্নিত করা হয়। ট্রান্সফরমারটিও জিপিটি-১ এর ভিত্তি হয়ে উঠেছিল।

নির্দিষ্ট একটি সর্বনিম্ন আকারের ভেক্টর সঠিকভাবে মঞ্চনীতি করার প্রয়োজন থেকে মুক্তভাবে, ট্রান্সফরমার এবং এর উত্পাদকরা একটি প্রদত্ত পাঠ্যের বিভিন্ন অংশে স্থানান্তর করতে পারে এবং অনেক বেশি সংদর্ভের প্রায় সংযোগমূলক আপেক্ষিকতা খুঁজে পাইতে পারেন।

সেই স্বাধীনতা একটি স্টেজের জন্য সজায় নিয়েছিল অন্য একটি উদ্ভাবন, যা ২০১৫ সালে আগমন করেছিল এবং যা ওপেনএআই-এর কার্যে আরও কেন্দ্রীয়, অনাধ্যায়িক শেখানো পরিচিত।

ঐ সময়ে বেশিভাগ ভাষা মডেলের কেন্দ্রস্থল ছিল লেবেলযুক্ত ডেটা দিয়ে নির্দেশিত শেখার। ইনপুট দেওয়া হলে, নিউরাল নেটওয়ার্ককে উত্তরের সাধারণ সংসকরণ হিসাবে একটি উদাহরণ আউটপুটও দেওয়া হয়। তাই যদি টাস্ক হয় অনুবাদ, তাহলে ইংরেজি ভাষার একটি বাক্য ইনপুট হতে পারে, এবং একটি মানুষ তৈরি ফরাসি অনুবাদ ইচ্ছাকৃত লক্ষ্য হিসাবে সরবরাহ করা হয় এবং এই দুটি বাক্য একটি লেবেলযুক্ত উদাহরণ গঠন করে।

নিউরাল নেটওয়ার্কের চেষ্টা ফরাসি অনুবাদ তৈরি করতে, তা অফিসিয়াল ফরাসি বাক্য এর সাথে তুলনা করা হবে, এবং দুটি মধ্যের পার্থক্যটি হলো নিউরাল নেটওয়ার্ক তার পূর্বাভাসগুলি করার সময় যত ত্রুটি করে, যা লস ফাংশন বা অবজেক্টিভ ফাংশন হিসাবে পরিচিত।

প্রশিক্ষণ পর্যায়টি নিউরাল নেটের প্রস্তাবিত আউটপুট এবং লক্ষ্যযুক্ত আউটপুটের মধ্যে এই ত্রুটি মার্জিত করে দেওয়ার জন্য ব্যবহৃত হয়। যখন ত্রুটি যত ছোট হবে তখন উদ্দেশ্যযুক্ত ফাংশন প্রশিক্ষিত হয়েছে এবং ভাষা মডেলের নিউরাল নেটটি প্রশিক্ষিত বলে ধরা হয়।

তবে কাঙ্খিত আউটপুটকে সাবধানে লেবেল করা সমস্যা হতে পারে, কারণ এটি ডেটা এর বিভিন্ন সংগ্রহ ও সুপারিশক প্রয়োজন করে, যেমন মানুষিক মতামত এর সাহায্যে উদাহরণ বাক্য জোড়াই করা। যা সময়সাপেক্ষ এবং সমস্যা হতে পারে। গুগলের এন্ড্রু দাই এবং কোক লে মনে করে যে যদি ভাষা মডেলটি প্রথমে অনুপ্রশিষ্ট ভাবে প্রশিক্ষণ দেয়া হয়, তবে প্রয়োজন হওয়া লেবেলকৃত ডেটা কমানো সম্ভব।

একটি বাক্য জোড়ার পরিবর্তে, নেটওয়ার্ককে শুধুমাত্র একটি বাক্য দেওয়া হয়েছিল এবং প্রতিটি বাক্যকে হালকা করে পরিবর্তিত করে এবং প্রথমিক বাক্যে ফিরিয়ে দেয়া হয়েছিল। লস ফাংশনটি অপটিমাইজ করতে হয়েছিল মিররিং পদ্ধতি। তারা এটি খুঁজে পেয়েছে যে, এই ভাবে অনলেবেলড উদাহরণের মধ্যে এতে সংঘটিত কম্প্রেশন এবং ডিকম্প্রেশন করা হয়েছে, এতে অনেক ভাষান্তর প্রশ্নগুলিতে লেবেলযুক্ত ডেটা প্রতিস্থাপিত করা যেতে পারে।

২০১৮ সালে, OpenAI দলটি এই দুটি উপাদানকে সমন্বয় করেছে, যথাযথভাবে জড়িত বড় সংখ্যক শব্দের ভেক্টরে ভ্রমণ করতে পারে, এবং Dai এবং Le এর অনুপ্রশিষ্ট পূর্ব-প্রশিক্ষণ পদ্ধতিতে গড় পরিমাণ লেখা অংশ গ্রহণ করে এবং এটিকে সংশোধিত করে।

তারা একটি মানক Transformer নিয়েছিল এবং এটির মধ্যে BookCorpus এর সামগ্রী পরিষ্কার করে দিয়েছিল, যা টরন্টো বিশ্ববিদ্যালয় এবং MIT এর দ্বারা সম্পাদিত ডাটাবেস এর সমন্বয়ে রয়েছে এমন 7,000 টি প্রকাশিত বই পাঠসমূহ (১ লক্ষ শব্দের নিচের সম্পর্কে), মোট ৫ জিবি। GPT-1 এই বইগুলি সঙ্কোচন করতে এবং পুনরুদ্ধার করতে প্রশিক্ষিত হয়।

অতএব, একটি তিন বছরের ঐতিহাসিক ঘটনা ঘটে যাচ্ছে যেখানে বিশাল বিশাল ডেটাসেট গুলির ধারণা চলছে। অধ্যয়ন করার অভিজ্ঞতা অধিক ডেটা মডেলটিকে আরও নির্দিষ্ট করে তোলে মূল লক্ষণ। GPT-2 এর সাথে সঙ্গী হিসাবে, তারা BookCorpus কে পাশে ফেলে দিয়েছে একটি স্বদেশী তথ্যসেট এর বিপণিস্থলটি, যা রেডিট হতে আউটবাউন্ড লিঙ্ক থেকে স্ক্রিপট হয়েছে, মোট 40GB এর তথ্য, অপ্রনিন্দা ওয়েব পৃষ্ঠা নমুনার মধ্যে থেকে প্রাপ্ত।

GPT-3 এর প্রশিক্ষণ আরও অস্সাধারণ, 2016 থেকে 2019 সালের মধ্যে ওয়েব পৃষ্ঠাগুলির জনপ্রিয় CommonCrawl ডেটাসেট থেকে বিচ্যুত করলেও এটি বােকা বাঁচেনা 45TB সংক্ষিপ্ত পাঠ্য ডেটা, যদিও OpenAI এটিতে প্রতিলিপি সরানোর ও গুণমান উন্নতির জন্য পরিচালিত করেছে। চূড়ান্ত সংস্করণ টি আছে 570GB ডেটা। OpenAI বই ডেটা সহ বিভিন্ন প্রকারের অতিরিক্ত ডেটাসেট সংযোজিত করেছে।

জিপিটি-৩ কম্পিউট শক্তির উপর কেমনভাবে নির্ভর করে?

জি.পি.টি-১, ২ এবং ৩ এর আগমন এসে গণনাপ্রকৃতিতে অগ্রগতির জন্য কম্পিউটিং স্কেল একটি জরুরী উপাদান হয়ে উঠেছে। মডেলগুলি শ্রেষ্ঠ ফলাফল প্রাপ্ত করার জন্য প্রশিক্ষিত হতে যখনই তারা বেশি বেশি কম্পিউটার শক্তি ব্যবহার করে।

নিউরাল নেটওয়ার্ককে প্রশিক্ষণের সময় তার ওজনগুলির সংশোধন ভালোভাবে করে। ওজনগুলি যা প্যারামিটার হিসাবেও উল্লিখিত হয়, তা হল ম্যাট্রিক্সের, বিন্যাস হয় পঁচিশ এবং কলামের মতো, যার মাধ্যমে প্রতিটি ভেক্টর গুনিয়ে কাজ করে। গুণকারীকরণের মাধ্যমে, শব্দগুলির বিভিন্ন ভেক্টর, বা শব্দগুলির ফ্র্যাগমেন্ট, যে মানে পায় বিশেষ বা কম ওজনদার উত্পাদনে মোটামুটি নিঃশেষে তাণ্ডবের মতো কাজ করে যেন নিউরাল নেটওয়ার্কটি উপাত্ত করে এরর গ্যাপ দ্বারা।

OpenAI এ পাওয়া গেছে যে তাদের আরো বড় বড় ডেটাসেটের উপর ভালো ফলাফল পেতে তাদের অনেক অনেক ওজন যোগ করতে হয়েছে।

গুগলের অরিজিনাল ট্রান্সফরমারে মোট ১১০ মিলিয়ন ওজন ছিল। GPT-1 এই ডিজাইন অনুসরণ করে। GPT-2-এর সাথে, সংখ্যাটি ১.৫ বিলিয়ন ওজনে বড় হয়ে ওঠে। GPT-3 দিয়ে, প্যারামিটারের সংখ্যা ১৭৫ বিলিয়ন কিনেছে, যা GPT-3 কে বিশ্বের সবচেয়ে বড় নিউরাল নেটওয়ার্ক করে।

গুণন অত্যন্ত সাধারণ একটি কাজ, কিন্তু ১৭৫ বিলিয়ন ওজন গুলি আবৃত মাউল্যগুলি দ্বারা প্রতিটি ইনপুট ডেটা বিটের মাধ্যমে গুণিত করলে, বিলিয়ন বাইটের তার পরপরই আবশ্যক উপায়ে প্যারালেল কম্পিউটার প্রসেসিং এর ভিটি হয়।

ইতিমধ্যেই GPT-1 এর সাহায্যে, ২০১৮ সালে, OpenAI প্রায়শই বাস্তব কম্পিউটিং সীমার প্রায় ভিজাতে যাচ্ছিল। ডেটা বাড়ানোর মাধ্যমে জিপিইউপি (জেনারেল পারপাস গ্রাফিক্স প্রসেসিং ইউনিট) বা প্রোগ্রামাটিক হার্ডৱেয়ার কম্পিউটিং মডেল বা GPT-1 এর আকার বৃদ্ধি হয়েছিল। পূর্বের ভাষা মডেল গুলি একটি জিপিইউপির মধ্যেই দেখতে পাওয়া হয়েছিল কারণ সেগুলি সাধারণত ছোট ছিল। GPT-1 এর হাইপারমডেল ট্রেনিং একমাসের সময় নিয়েছিল যেখানে আট টা জিপিইউপি একত্রিতভাবে কাজ করছিল।

জিপিটি-৩ দিয়ে, ওপেনএআই কিছুটা মানে ধরিয়েছে। যখন লক্ষ্য হচ্ছে প্রশিক্ষণে ব্যবহৃত কম্পিউটার কনফিগারেশন এক্সাক্টলি বর্ণনা করা হয়নি, নিঃসন্দেহে জানানো হয় যে এটা মাইক্রোসফট আজুরে চলছে এমন নভিডিয়া V100 চিপ এর ক্লাস্টারের উপরে অবস্থিত। প্রতিষ্ঠানটি প্রয়োজনীয় মোট কম্পিউট সাইকেলস বর্ণনা করেছে, বলেছে এটি প্রতি দিন ১,০০০ ট্রিলিয়ন ফ্লোটিং পয়েন্ট অপারেশন চালাওয়ার সমতুল্য এক হাজার চত্বারশ্ব দিনের জন্য।

কম্পিউটার মেইকার এবং ক্লাউড অপারেটর ল্যাম্বডা কম্পিউটিং মনে করেছে যে একটি একক GPU-র জন্য এই মাত্র কম্পিউট চালানোর জন্য 355 বর্ষ সময় লাগবে, যা একটি স্ট্যান্ডার্ড ক্লাউড GPU ইনস্ট্যান্স মূল্যে হলে $4.6 মিলিয়ন টাকা খরচ করত। আর এটার সাথে মেমোরির সমস্যা আছে। সব ওজনের মান ধারণ করতে সংখ্যা বৃদ্ধি পাওয়া যাবে, এরপরে আরও একটি মেমোরি দরকার হয়। GPT-3-র ১৭৫ বিলিয়ন প্যারামিটারের জন্য 700 জিবি মেমোরি প্রয়োজন, যা একটি একক GPU এর মেমোরির চেয়ে ১০ গুন বেশি।

এটি উপাদান যেমন বিপুল শক্তির প্রয়োজন, এটকে সম্প্রতির দশকের মধ্যে প্রায় ৫,০০০% উর্ধ্বে নয়ে গিয়েছে এমন ডোমিনান্ট জিপিইউ সরবরাহকারী নভিডিয়ার শেয়ার মূল্য এমনকি উন্নতি করেছে। এটি থার্মিয়াম, গ্র্যাফিকোর এবং ত্বরণীয়ফল পরিবেশে পরিপূর্ণ স্টার্টআপ প্রতিষ্ঠানে যেমন সেরবেরাস সিস্টেমস, গ্র্যাফকোরস, এবং তাচিউমের সহায়তায় হাজার কোটি ডলারের ভেনচার ক্যাপিটাল আর্থিক সমর্থনের জন্য বিতাড়িত হচ্ছে। এই ফিল্ডে প্রগতি সংরক্ষণ পথ হিসাবে বিশাল বিশাল মডেল নির্মাণ করার জন্য প্রতিযোগিতা তৈরি থাকবে যতক্ষণ্ণ নগদ দিয়ে।

ওপেনএআই (OpenAI) তৈরি করেছে স্বয়ংক্রিয়ভাবে যে সম্পবেশী কম্পিউটার পাওয়া প্রয়োজন সে সম্পর্কে তাদের নিজস্ব গবেষণা। এই কর্পোরেটিও ভালোভাবে তাকে প্রয়োজনীয় কম্পিউটিং সাইকেলস অর্জন করল যা সবচেয়ে বড়গুলি ওরাই প্রশিক্ষণ মডেলগুলি দ্বারা সন্তৃপ্ত হচ্ছে এটার মাধ্যমে ২০১২ সাল থেকে প্রতিটি ৩.৪ মাস ধরে ডবল হচ্ছে, এটি চিপ ট্রান্সিস্টর বৃদ্ধির জন্য সুপ্রসিদ্ধ মোর এর নিয়মের থেকে আগ্রহকারী একটি দ্রুতগতি। (গুণিতক ভিত্তিতে, এই জরিপ প্রদর্শন করে যে বৃহত্তর মডেলগুলি আগের নিউরাল নেটগুলির তুলনায় সম্পাদিতভাবে কাজ করে।)

ইতিমধ্যে, এদেশের অনুমোদিত এটি নয়োজনপত্র একটি স্বাধীন ডিজিটাল সংচালক প्रতিষ্ঠান উদ্যোগে সংখ্যাযোজ্য প্যারামিটারবিশিষ্ট মডেলের বাকি একটি বিস্তারিত ভিত্তিক ডিজিটাল আই প্রকল্পে নজরদারি দেওয়া হচ্ছে। যেমনটা দেখা যাচ্ছে, যদিও যে এটি সীমাহীন হবার ব্যাপারে সম্ভবত সীমাবদ্ধতার বস্তু নয়, এমনকি যেহেতু হাইপার-স্কেল কোম্পানী গুলি যেমন গুগল প্রস্তুত হোক, তারা নিরাময় তাদের বিশাল ডেটা কেন্দ্রগুলিকে এক অপেক্ষা করে বড়দিকের মডেলের দিকে উন্মুক্ত করার জন্য। এবং অধিকাংশ আই পন্ডিত একমত যে একটি আগামীকালের জন্য গড়ে গেলা ও গুরুত্বপূর্ণ হবে যে দিন মেশিন লার্নিং মডেলগুলি সীমান্ত অনুকার করবে ততক্ষণ।

"এটি AI এর উপরের প্রভাব সম্পর্কে কথা বলতে গেলে, একটি সক্রিয় অংশ হলো GPT-3 যেটি প্রমাণ করে যে আমরা AI এর স্কেলিং সীমায় কখনো পাশাপাশি আসিনি," ব্যবসায়িক যন্ত্রপাতি বিক্রেতা এবং AI ব্যবস্থাপনা টুলস মালিক Algorithmia-র CTO কেনি ড্যানিয়েল বললেন ZDNet-এ।

কম্পিউটার ব্যবহার বৃদ্ধি করার পাশাপাশি, GPT-3 এর অন্যান্য মোটামুটি প্রভাব খুব স্পষ্টভাবে প্রোগ্রামিং এবং অ্যাপ্লিকেশন উন্নয়নকে দ্রুত করবে। শামীমের JSX প্রোগ্রামের ডেমনস্ট্রেশনটি শুধুমাত্র আইসবারগের চূড়ান্ত অংশ।

GPT-3এর কি অসম্পূর্ণতা রয়েছে?

আগের সংস্করণের তুলনা একাধিক উন্নতির সাথে সম্ভাব্যতঃ GPT-3 একাধিক সীমাবদ্ধতা রয়েছে, যেটি লেখকরা নিজেদের ক্ষেত্রে তুলনায় উল্লেখ করেছেন। "সংকলিপ্ত ভাবে মান উন্নতি হলেও, GPT-3 পাঠপর্যালোচনা স্তরে নথভাষাপর ভাবে নিজেকে পুনরাবৃত্তি করতে বাধা পাওয়া যায় এবং যথাক্রমে দীর্ঘ অংশে সংযোগহত হতে থাকে," তারা প্রকাশিত পেপারে দ্রষ্টব্য করেছেন।

এই প্রোগ্রামটি এক বিশেষ সংখ্যক একজন ব্যক্তি পরীক্ষাগুলি সঠিকভাবে পারতে অসমর্থ। "বিশেষত, GPT-3 এর মধ্যে যেসব সাধারণ জ্ঞানের বিষয়ে প্রশ্ন জিজ্ঞাসা করা হয় যেমন 'তার প্রশ্ন হলো যদি আমি চিজ রেখে ফ্রিজে, তা দিয়ে পিঘলবে কি?' লেখকরা বর্ণনা করেন, এমন ধরণের উপস্থিতি GPT-3 কে মনে হয় বোঝাতে সমস্যা হয়।

জিপিটি-৩ বেরোবার তারপর তেমন অনুপ্রেরণা ছিল যে কোম্পানির চেয়ারম্যান স্যাম আলটম্যান প্রকাশিত কথায় মানুষদের উত্সাহ নিয়ন্ত্রণ করার জন্য বলেছিলেন।

"জিপিটি-৩ সম্পর্কে অতিরিক্ত উচ্চাভাবনার ব্যাপার," টুইটটি ১৯ জুলাইতে আলটম্যান করেছেন। "এটা চমৎকার (সুন্দর প্রশংসার জন্য ধন্যবাদ!) কিন্তু এটার অপকর্ম আছে এবং সময়কে আংশিকে খুবই বুদ্ধিমূলক ভুল করে।" তিনি লিখেছেন। "একীভূত শিক্ষনীয় থাকবে এমনটি হিসাবে এসেছে কিন্তু জিপিটি-৩, যা আসলেই একটি মাত্র প্রাথমিক দর্শন। আমাদের এখনও বেশি কিছু চিন্তা করতে হবে।"

জিপিটি-৩ এর জবাবদিহিতা খুবই অধিক হাইপ হয়েছে। এটা স্তুপান্ত হয়েছে (ভালোবাসার জন্য ধন্যবাদ!) কিন্তু এর অসততা এবং কখনও খুব মূঢ় ভুল করতে থাকে। একান্ত হাতে তুলে দেয়া লগইন। তবে, AI দুনিয়াটি পরিবর্তন করবে, কিন্তু জিপিটি-৩ শুধুমাত্র একটি খুব প্রারম্ভিক ঝলক। আমাদেরকে আরো অনেক কিছু খুঁজে বের করতে হবে।

— সাম আলতমান (@সামা) ১৯ জুলাই ২০২০

অন্যান্য মানুষগণ এখানে ওপেন এআইতের বাইরে তাদের নিজস্ব মতামত প্রদান করেছে। একজন অভিজাত ব্যবহারকারী, যিনি একাধিক প্রজন্মের জিপিটি ব্যবহার করে এসেছেন, ম্যাক্স উলফ, তাঁর ব্যক্তিগত ব্লগে লিখেছেন যে জিপিটি -৩ আগে যা ছিল, তার চেয়ে ভাল কিন্তু কেবল গড়ে তেমনই। উত্পন্ন পাঠ্যের মানের একটি পলারিটি আছে যেখানে কিছু উদাহরণের চমত্কার লাগবে এবং অন্যান্য খুবই ভাল বলা যাবে না। উলফ জিপিটি-৩ কে এপেলের সিরির মতো বলেছেন, যা অনেক সময়ে অসর্বস্বত্বপূর্ণ হবার ফলে ট্রাশ উত্পাদন করতে সঙ্ক্রান্ত অস্বস্তিতে আছে। (উলফ এসেসায়টি একটি চিন্তামুলক GPT-3 পাতিয়ে এইটি পুরোপুরি পঠনযোগ্য হিসাবে মনে হচ্ছে।)

সত্যিই, একজন একটু বেশি GPT-3 উদাহরণ পড়তে গেলে, বিশেষত দীর্ঘ পাঠাগুলি পড়লে, কিছুটা আগ্রহবানতা হারিয়ে যাওয়া অনিবার্য। GPT-3 সমপূর্ণ দীর্ঘ স্ট্রেচেস বলতে ট্রেসার হয়ে যায়, বলা হয়। যেকোনো জানর বা কার্যটির জন্যই হোক, পাঠ্যিক উত্পাদনটি দীর্ঘ হতে হতে আবদ্ধভাবে হয়ে আসে, নাটকীয় বলতে এমন অন্তত: নারেটিভের কিছু সঙ্ঘর্ষময়তা প্রকাশ হয়।

কিছু প্রোগ্রামাররা, তাদের উত্সাহের পরবর্তীতেও, অনেকগুলি ক্ষুধার্ত নিয়ে সংকলন করেছেন, যেমন, GPT-3 এর পিতামাতার চেষ্টা ব্যর্থ হওয়া দাদ জোকসগুলি। "একটি থালা আরেকটি থালা বললেন, কী?" এমন দাদ জোকের বাদী হলো, " আমার উপর ডিনার দিয়ে দেওয়া হচ্ছে! " কিন্তু GPT-3 বরং অহ্লাদজনকভাবে এতে উত্তর দিতে পারে, " আমার মুচক মাখো! "

মানুষ দ্বারা প্রদত্ত ইনপুট: প্রশ্ন: একটি প্লেট অন্য প্লেটকে কিকরছে?

GPT-3 generated completion: আ. আমাকে ডুবান!

যখন GPT-3 সাধারণত মতামতে প্রশ্নের উত্তর দিতে পারে, যেমন জিরাফের কতটি চোখ আছে, তবে এটি অচেনা প্রশ্নকে আটকে নেয় না এবং অচেনা উত্তর দেয়। "আমার পা কতটি চোখ আছে?" প্রশ্ন জিজ্ঞাসা করা হয়েছে, তখন এটি দারুণ উত্তর দেবে, "আমার পা দুটি চোখ আছে।"

সকল মাধ্যমতার চেয়ে একটি উপায় হলো যে জিপিটি-৩ থেকে সুবিধাজনক আউটপুট পাওয়ার জন্য কার্যকরী প্রম্পট তৈরি করার প্রয়োজন। কিছু মানুষ গঠিত প্রম্পটর মাধ্যমে প্রোগ্রামটি বেশি ভাল ফলাফল সৃষ্টি করতে পারে। এটি অভিভাবক "অস্থির মাল মুখে খাওয়ানো হয়।" প্রম্পটগুলির মধ্যে লেখালেখিতের মতো এটি দেখা যায় যে তাদের প্রোগ্রামিং নদী হতে পারে, যা প্রতিভাজনক এবং সৌন্দর্যবিশেষ দ্বারা চায় তাদের।

পূর্বপ্রদর্শিত বিবেচনা নিয়েও বিষয়টা গোঁড়াতে হবে, না কেবলমাত্র GPT-3-এও যা সম্পৃক্ত করে তার সবগুলো প্রোগ্রামের সাথে যাত্রা করছে যা শর্তাধীন বিতর্কের ওপর ভিত্তি করে। প্রোগ্রামের স্বাভাবিকভাবে প্রচুর ব্যাংকুলিতে প্রতিক্রিয়া দেওয়ার ধারণা হলো যা প্রারম্ভিক তথ্য হিসাবে প্রদান করা হয়, একইভাবে একটি দর্পণের মতো। এই ধারণার কারণে ডেটা সংক্রান্ত বাইয়াস পুনরাবৃত্তির সম্ভাবনা রয়েছে। GPT-2-এ ইতমধ্যে বিতর্কের মধ্যে বিশাল বাইয়াস নিয়ে বিদ্যাবাজনসভা হয়েছে।

GPT-3 দিয়ে, এনভিডিআয় এর একজন সংজ্ঞায়িত AI বিজ্ঞানী আনিমা আনন্দকুমার সতর্কবাণী দিলেন যে বাইয়াসপূর্ণ আউটপুট তৈরির উপযুক্ততা, যেমন রেসিস্ট এবং সেক্সিস্ট আউটপুট, চালিত থাকে।

আমি এটি দেখে বিচারহীন রাজনৈতিক দখলও স্বারাধিকার বিস্তার পাচ্ছি এটি দেখে বিচারহীন। একদল ব্যবহারকারীর উপর প্রশিক্ষন করেছি @reddit কর্পাস দিয়ে, যেখানে অতিরিক্ত #racialism এবং #লিঙ্গবৈষম্য রয়েছে। আমি এই মডেলগুলির সাথে কাজ করেছি এবং তাদের উৎপন্ন পাঠ্য অতিরিক্তভাবে বিপজ্জস্বরূপ বেশ ইজেট। @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— অধ্যাপক অনিমা আনন্দকুমার (@AnimaAnandkumar) জুন ১১, ২০২০

আনন্দকুমারের সমালোচনা সম্পর্কে জিডিনেটকে জিজ্ঞাসা করা হলো, ওপেনএআই বলেছে, "সবচেয়ে শক্তিশালী অক্ষরশ্রষ্টা মডেলের জন্য, পরম ন্যায্যতা এবং প্রবাদমিষ্টি আমাদের চিন্তা সূচিত।"

"এটি একটি কারণ যা আমরা API মাধ্যমে এই প্রযুক্তি শেয়ার করছি এবং প্রাইভেট বেটা লঞ্চ করছি।" OpenAI জেডিনেট সংবাদপত্রে জানাচ্ছে। নিম্নোক্ত সহ আপনার মানসিক বা শারীরিক ক্ষতির কারণ হিসাবে বিবেচনা করে আমরা "হেরাসমেন্ট, চালাকি, র্যাডিক্যালাইজেশন, আস্ট্রোটার্ফিং বা স্প্যাম" মধ্যে যে কোনও প্রযুক্তিকে সমর্থন করবো না।"

ওপেনএআই জিডিনেট কে বলেছে যে, তারা এই প্রোগ্রামের ভেতর ঝুঁকি আবিষ্কারের জন্য একটি পরিচিত ধরণের হোয়াইট হ্যাট, ব্ল্যাক হ্যাট ওয়ার গেমিং ব্যবহার করছে:

আমরা যা আমরা 'রেড টীম' বলে সাবধানে নথিপত্র ফিল্ট্রেশন সিস্টেমটি ভেঙে ফেলে এমনকি আমরা খারাপ আউটপুট পাওয়া কেন জানতে পারি সেজন্য এর মাত্রানুযায়ী 'রেড টীম' নামক একটি দল তৈরি করেছি। "ব্লু টীম" হল তার সমকক্ষ যাদের দায়িত্ব হল সংপ্রসারণ এবং বৈশিষ্ট্য মাপানে বাইস কমানো।

আরেকটি বড় সমস্যা হলো GPT-3 এর অত্যন্ত সামগ্রিক বা সর্বনিম্ন সাধারিকতা বা কাঠামো অবস্থা। এটি শুধুমাত্র শরীরের মাংসপেশির একটি অংশকে উল্লেখ করছে। একটি প্রবাবিত্ব বিতর্কের একটি লম্বা পুশপায়া বা বাংলাদেশের সদস্যদের সংখ্যার গড় অংশ। এগুলি ব্যবহারের সবচেয়ে উদ্ভাট উদাহরণ হতে পারে, বাংলাদেশের ভাষার উপযুক্ত প্রতিনিধিত্ব করে। সমাজের সবচেয়ে প্রচলিত লেখা এর বোরবাহী প্রতিবিম্বনায় মনোযোগ দেওয়ার নগদ ক্ষতিগ্রস্ত হয়ে যাওয়া সৃজনশীলতা এবং অন্বেষণ ঝেলে দেওয়ার ঝোঁক উঠতে পারে।

এখন পর্যন্ত, OpenAI-র সমস্যায় উত্তর দেওয়ার জন্য একটি সেটিং আছে যা GPT-3-তে পরিবর্তন করা যায় এমন একটি তপমান মান। এই নব সুরমা মামলায় GPT-3-কে সামান্য সম্ভাব্য শব্দ সমূহ বাছিয়ে নেওয়া এবং তাই যে লেখা তৈরি করে তা অসাধারণ হতে পারে।

একটি ব্যবসার জন্য আরও জরুরী সমস্যা হলো যে কোম্পানি অনুসরণ করতে পারে না GPT-3 এর সংস্থানিক ডেটা সঙ্গে সেটিং করতে। কোনও ধরণের সেটিং করা না গেলে, এটিকে শিল্পাচার ডোমেইনের জন্য বিশেষজ্ঞতা দিয়ে একটি উদ্যোগ করা কঠোর হয়। API সেবা ব্যবহার করে যে কোনও কোম্পানি পরিবেশে প্রয়োগযোগ্য করার জন্য পাঠ্য সহ আরও কাজ করতে হবে। সম্ভবতঃ স্টার্টআপসমূহ যেমন স্যাপলিং অথবা একটি ecosystem গঠন করবে, VARদের সমতুল্য, আর সেই সমস্যার সমাধান করতে পারে। এই ধারণার তবে পরিণতি দেখা চলেছেনা।

তারপরের প্রধান বিষয় হলো যদি সেটা এবারও চিন্তাজনক না হয়, তবে একটি অবস্থা আছে আর যা হলো সেই সোয়ানদের জন্য নতুন একটি কষ্ট যা ক্লাউড সার্ভিস হিসাবে GPT-3 হয়, সেটাই একটি কালো বাক্স। এর অর্থ হলো যে সার্ভিসটি ব্যবহার করতে চাইলে কোম্পানিগুলোর কখনো খবর নেই যে সে কীভাবে তার আউটপুট প্রাপ্ত করে -- এটা প্রায় জটিলতাময় বোধ্য একটিকে যখন বাইয়াস সম্পর্কে চিন্তায় আরো একটি কষ্টদায়ক হয়। Sapling এর মত ব্যক্তিগত পার্টিরা, যেমন যেদিন গৃহীত করে GPT-3 এর প্রভাবও সন্ধান করে, তারা একই সময়ে সেবাটিকে আরও অবট করার বাড়তি সারি সংযোজন করতে পারে।

ব্ল্যাক বক্স বিষয়ের একটি উপখণ্ড হিসাবে, GPT-3 কিছু ক্ষেত্রে শুধুমাত্র ওয়েব থেকে যা পোষণ করেছে তা মেমোরাইজ করতে পারে। এটা কপিরাইট সমস্যা উত্পন্ন করে। যদি কোনও কোম্পানি API সার্ভিস হতে কপিরাইটেড মেটেরিয়াল নেয়, তারা অন্য কোন কোম্পানির কপিরাইট উল্লংঘন করতে পারে। কপিরাইট সম্পর্কে কোন প্রশ্নের উত্তরটি জিডিটি-৩র উপযুক্ত নেতৃপক্ষ কর্তৃক ZDNet এসে বলেছে যে, GPT-3 দ্বারা প্রস্তুত পাঠ্যের কপিরাইট "ব্যবহারকারীর জন্য এবং OpenAI এর জন্য নয়"। পরামর্শ যাঁয়, ভূমিকাটি উদ্ভাবিত হয় সাধারণত দেখা হয়।

প্রসঙ্গটির মৌলিক সমস্যা হল এখনও GPT-3 কে প্রশিক্ষণ দেওয়া এবং চালানোর জন্য প্রয়োজনীয় স্কেল। এই সমস্যাটির প্রশ্নটি অপেনএইআই বিজ্ঞপ্তির মধ্যেও উল্লিখিত করা হয়েছে। লেখকরা লিখেছেন যে বড় মডেলগুলির ব্যয়কে কীভাবে সময় অধিকার মাধ্যমে নিরাপদ করা হয়, উপজেল তৈরিক মূল্যমান উন্নীতে ভিত্তি করে।

তথ্যবিভাগ: না, এই এই একি আই টি আপনার বাক্য শেষ করতে পারে না

GPT-3 সত্যিই শিখছে কি?

শব্দের সংকোচিত অর্থ ব্যবহার করে, GPT-3 শিখছে এমনটা বোঝাতে এর প্যারামিটার ওজনগুলি ট্রেনিং ডেটা প্রবৃত্তি দ্বারা স্বয়ংক্রিয়ভাবে স্থাপিত হচ্ছে যাতে ভাষা মডেলটি অনার্য় করে সাধারণতার প্রোগ্রামিং তত্ত্বকেই সীমাবদ্ধকরণ করে। সে দিকে, GPT-3 হল যে কোম্পানি একটি কম্পিউটার যা করিগুলি ইউম্যান এক্সপ্লিসিটলি এনকোড না করে তথ্য রূপান্তর করার জন্য একটি ফাংশন শিখতে পারবে সে দশকগুলি দেরি করিয়েছেন।

সেই নিয়ে বিচার করলে কেউ যে মেশিনটি সত্যিই বুদ্ধিমান কিংবা সত্যিই শেখা শিখছে, বলতে হবে। এমনভাবে আরো অনেক ভাবে আলোচনা করার উপায় আছে, কিন্তু সাধারণ চিন্তামূলক চিন্তা কেবল এখানে সংঘটিত হওয়ার দিক রয়েছে।

আপনি যদি আপনার মস্তিষ্কে পারেন যে কতগুলো শব্দ প্রায়শই একসাথে দেখা যাবে তাদের জন্য একটি সংখ্যামত গণনা রাখতে পারেন, তাহলে আপনি কি বলবেন যে আপনার বাক্য, বাক্যসমূহ, প্যারাগ্রাফ এবং পূর্ণপাঠে নির্বিচার ছিল? আপনি সংখ্যামূলক মানতালিকার মাত্রা ধরে এরই বলবেন এবং অন্য কিছু অন্য থাকা বলে বলবেন।

গভীর শিক্ষা এবং প্রখ্যাত Clever Hans এর মধ্যে তুলনার দিকটি হয়েছে, য়েখানে Clever Hans বাংলাদেশি তা আছে না, ছবিতে তা জানুন। এটা সম্পর্কে অন্য কিছু বলতে হবে তা বলুন।

অনুরূপভাবে, GPT-3 এর মানবিক গুণগত সুবিধা বিশ্লেষণে ভঙ্গিত হয়। যখন GPT-3 সঠিকভাবে একটি সাঁতার মূল্যায়ন প্রশ্নের উত্তর দেয় একটি নিউ ইয়র্ক রিয়েল এস্টেট সম্পর্কিত গবেষণামুলক এসে উঠে, তখন সেটা বলতে নিয়মিত রাষ্ট্রপত্রের সংবাদ বা ফলাফল সম্পর্কে জ্ঞান অর্জন করার পদ্ধতি নয়। এতে পর্যায়ক্রমে বলতে সংযুক্ত হয় সংশ্লিষ্ট নিশ্চিততা বিতরণ যা পাঠের প্রতিনিধিতা এবং ঘটনা-প্রশ্ন জোড়ার বিন্যাস ধরায়, এবং উপযুক্ত ভাবে তা উত্পন্ন করতে পারে।

হ্যান্স কৌশল সংক্রান্ত কিছুই জানতেন না, তবে হ্যান্সের সমর্থন হিসাবে তিনি মাথার ভালোবাসা হিসেবে বিশ্বাস করেছেন। নিউরাল নেটওয়ার্কের ক্ষেত্রে, কুসংস্কারকারীরা কেবল কৌশলগুলি আছে এক কিছু সংশয়হীন পাঠকের অনুমান।

তবে, বুদ্ধিমানতা এবং শিক্ষা অনেক ব্যাপারে অনেক কিছু অর্থ রাখতে পারে, এবং সালগুলি চলে গেছে কিন্তু কী বোঝাচ্ছে মানবি আমাদের স্বতন্ত্রভাবে তৈরি শক্তির বিষয়ে, সেটা প্যামেলা ম্যাককরডাক, এই বিষয়ের ইতিহাসবিদ এক্সপার্ট ই দিচ্ছেন। কিছু মনে করতে পারে যে, বড় আকারের লেখামালার বেশিরভাগ জটিল প্রবণতা গুলি গণনা করতে সক্ষম একটি প্রোগ্রাম একটি মন্দ ধরনের বুদ্ধিমত্তার ইতারেক হতে পারে, হয়তো আমাদের আপন অন্য প্রকৃতের শক্তির সাথে আমেজাকর একটি বিদেশী বুদ্ধিমত্তা। এটা বিসর্জন করা অস্বীকার্য মনে হচ্ছে বয়সা গেছে।

তদ্বদক্ষিতা দ্বারা জন্যকরণ হাইপারথেসিস এসেছে যা মাত্র পরিসংখ্যান প্রোগ্রামের চেয়েও বেশি নয়। এর গণনা প্যারামিটার ওজনের সংগঠিত গঠনের ফলস্বরূপ মাল্টিপল সমতল গণিতমূলক অপারেশনের সহযাত্ন থেকে সংজাত হয়। আরেকটি বুদ্ধিসূত্র পর্যালোচনার উপর ভিত্তি করে যদি অবিভাজ্য প্রতিষ্ঠানের স্বরূপ চিন্তা করা যায়, তবে নিউরাল নেটের ভিত্তিতে অস্থানভাজে গঠিত প্রতিনিধিত্বসূচক এমন সারণি যেগুলি রূপ গ্রহণ করে তাতে তাকে দেখা যায় সেটি অন্যান্য বুদ্ধিসংগঠনে খুঁজে দেয়ার জন্য এক জায়গায় হতে পারে।

জিপিটি-৩ এর ভবিষ্যৎ কি হবে?

একটি জিনিস নিশ্চিত: GPT-3 পরিবেশ শিক্ষায় একটি নতুন অধ্যায় উদ্ভার করেছে। এর সবচেয়ে জুটিতে উচ্চকারিতা সত্ত্ব রয়েছে। কয়েক বছর আগেও, নিউরাল নেটওয়ার্কগুলি কোনও একটি নির্দিষ্ট কার্যের জন্য মিলানো ফাংশন সহন করলো যেমন অনুবাদ বা প্রশ্নের উত্তর। ডেটাসেটগুলি ঐ কাজের সাথে সামঞ্জস্য পালন করতে পারত। যাইহোক, GPT-3 এর কোনও কার্য সংক্রান্ত ফাংশন নেই এবং এর জন্য কোনও বিশেষ ডেটাসেটের প্রয়োজন নেই। এটি শুধুমাত্র যত ভাগ টেক্সট সম্ভবপূর্বক এখান থেকে খেয়ে নিয়েছে এবং তা পতাকায় প্রতিফলিত করে।

যেভাবেতো, সেখানে সকল ঐ গিগাবাইট টেক্সটের মধ্যে শর্তাধীন সম্ভাব্যতা বিতর্ক নির্ণয়ের গণিতীয় ফলাফলও প্রস্তুত করতে পারে, যা কোনও নাম্বারের কাজে প্রতিযোগিতামূলক। এটি একটি চমত্কার সরলতার জয়জয়কার যা অনেক বছর ধরে আগামী সাফল্যের পথে অগ্রসর হতে পারে।

তথাপিতও যে সাধারণত, সেইসব সীমা স্পষ্ট থাকতে পারে। পূর্ব-প্রশিক্ষন দিকটি চলতে চললেও, GPT-3 এর লেখকরা তাদের পেপারে শেষে উল্লেখ করে যাচ্ছে যে প্রি-প্রশিক্ষন দিকটি শেষ পর্যন্ত খুবেই হ্রাস হতে পারে। "এই পেপারে বর্ণিত সাধারণ পদ্ধতিতের একটি বেশি মৌলিক সীমা [...] হল প্রি-প্রশিক্ষন উদ্দেশ্যের সীমার শেষে (বা ইতোমধ্যেই শেষ হচ্ছে) আসতে পারে।"

লেখকদের আশা করা যায়, "মানুষের থেকে উদ্দেশ্য অংশ শেখার", ও এর পাশাপাশি অন্যান্য ধরণের ডিপ লার্নিংকে মিশিয়ে নতুন দিকে এগিয়ে চলা যেতে পারে, যেমন চেষ্টা করা হয়েছে ডিপমাইন্ডের এলফাজিরো যা চেষ্টা করে বিভিন্ন নিউনেট হাসপাতালে শত্রুদের হারিয়ে জয় করছে। (এমনকি কিছু অংশই ইতিমধ্যে পালন করা হয়েছে। সেপ্টেম্বরের প্রাথমিক দিনে, ওপেনএইআই লেখকরা দেখিয়েছে যে একটি মানুষের প্রদানকৃত প্রতিক্রিয়ার উপরে ভিত্তি করে গিপিটি-৩কে প্রশাসনিক কাজে বেশি সূচনাগুলির উৎপন্ন করতে সক্ষম হতে পারেনি)

আরেকটি জিনিস যা তারা পরামর্শ দেয় তা হল ছবি জাতির বিভিন্ন ডেটা টাইপ যোগ করা, যাতে প্রোগ্রামের "বিশ্বের মডেল" পূর্ণ হয়।

সত্যই, এগার বছরে আমরা আশাকরি যে এই সাধারণ পদ্ধতি আরও বিভিন্ন অবস্থানে পাঠকের বাইরে ছবি এবং ভিডিও সহ অন্যান্য মোডালিটির দিকে প্রসারিত হবে। একটি প্রোগ্রাম চিন্তা করুন যেমনটি GPT-3, এটি ছবি কে শব্দে এবং উল্লেখ্য এমনভাবে অনুবাদ করতে পারে যেখানে দুটির মধ্যে সম্পর্ক তৈরি করতে কোনও নির্দিষ্ট অ্যালগরিদম ব্যবহার করা হয় না। উদাহরণস্বরূপ, এটি ছবি থেকে পাঠযোগ্য স্থাপনা শিখতে পারে এবং লেখামুলক নিবন্ধন থেকে ঘটনার পদক্ষেপের ভাগ্যক্রম পূর্বাভাস করতে পারে।

ফেসবুক এক্সই(আর্টিফিশিয়াল ইন্টেলিজেন্স) নির্দেশক যান লেকান মন্তব্য করেছেন যে বিভিন্ন রূপে অনুপূরক প্রশিক্ষণ মডেল গভীর শিক্ষা এর ভবিষ্যৎ। যদি এটা সত্যি হয়, তাহলে অসুপারভাইজিড সিস্টেমের একটি অত্যন্ত আশার ভবিষ্যৎ নির্দেশ হিসাবে বিবেচনা করা যেতে পারে, যেটি বার্তা থেকে শব্দ, লেখা, ছবি এবং ভিডিও পর্যন্ত বিভিন্ন মডালিটি উপর পূর্ব-প্রশিক্ষণ প্রয়োগ করা যেতে পারে।