Kog નો AI માં કમાલ: સામાન્ય GPUs પર **30x** સુધી ઝડપી Inference નો દાવો

TECHNOLOGY
Whalesbook Logo
AuthorAman Ahuja|Published at:
Kog નો AI માં કમાલ: સામાન્ય GPUs પર **30x** સુધી ઝડપી Inference નો દાવો

ફ્રેન્ચ સ્ટાર્ટઅપ Kog એવી સોફ્ટવેર ટેકનોલોજી વિકસાવી રહી છે જે સ્ટાન્ડર્ડ ડેટાસેન્ટર હાર્ડવેર પર AI Inference ની સ્પીડમાં અનેક ગણો વધારો કરી શકે છે. જોકે કંપની પોતાના આ સોલ્યુશન માટે બિઝનેસ તરફથી રસ હોવાનો દાવો કરે છે, પરંતુ તે એક પ્રાઇવેટ કંપની છે અને ભારતીય કે વૈશ્વિક સ્ટોક એક્સચેન્જ પર લિસ્ટેડ નથી.

પેરિસ સ્થિત સ્ટાર્ટઅપ Kog, જેની સ્થાપના 2023 માં થઈ હતી, તે આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) મોડેલ્સ કેવી રીતે કામ કરે છે તેમાં બદલાવ લાવવાનો પ્રયાસ કરી રહી છે. કંપની નવા હાર્ડવેર બનાવવાને બદલે સોફ્ટવેર ઓપ્ટિમાઇઝેશન પર ધ્યાન કેન્દ્રિત કરી રહી છે. તેનો મુખ્ય ઉદ્દેશ્ય હાલમાં ઉપયોગમાં લેવાતા સ્ટાન્ડર્ડ ડેટાસેન્ટર ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ્સ (GPUs), જેમ કે NVIDIA’s H200 અને AMD’s MI300X, માંથી નોંધપાત્ર રીતે વધુ પરફોર્મન્સ મેળવવાનો છે.

આજના AI માર્કેટમાં, લાર્જ લેંગ્વેજ મોડેલ્સ (LLMs) ને ડિપ્લોય (deploy) કરતી બિઝનેસ માટે સ્પીડ અને ખર્ચ મુખ્ય અવરોધો છે. જ્યારે ઘણા સ્પર્ધકો આ સમસ્યાઓને હલ કરવા માટે ખાસ AI ચિપ્સ બનાવી રહ્યા છે, ત્યારે Kog નો દાવો છે કે બહેતર સોફ્ટવેર એન્જિનિયરિંગ હાલના હાર્ડવેરની છુપી ક્ષમતાને બહાર લાવી શકે છે. ટેકનિકલ ડેમોન્સ્ટ્રેશનમાં, કંપનીએ નાના મોડેલ્સ માટે 3,000 ટોકન્સ પ્રતિ સેકન્ડ સુધીની ઝડપ દર્શાવી છે, અને તેમનો લક્ષ્યાંક આ કાર્યક્ષમતાને મોટા અને વધુ જટિલ AI સિસ્ટમ્સ પર લાગુ કરવાનો છે.

એન્ટરપ્રાઇઝ યુઝર્સ માટે, Inference પર આ ફોકસ – એટલે કે AI મોડેલ દ્વારા જવાબ જનરેટ કરવાની પ્રક્રિયા – સૈદ્ધાંતિક રીતે રાહ જોવાનો સમય અને ઓપરેશનલ ખર્ચ ઘટાડી શકે છે. કંપનીએ જણાવ્યું છે કે તેમને 200 થી વધુ બિઝનેસ લીડ્સ મળ્યા છે, જે દર્શાવે છે કે એન્ટરપ્રાઇઝ તેમના સમગ્ર હાર્ડવેર ઇન્ફ્રાસ્ટ્રક્ચરમાં મોટા ફેરફારો કર્યા વિના તેમના AI વર્કફ્લોને ઝડપી બનાવવાના માર્ગો સક્રિયપણે શોધી રહ્યા છે.

ભારતીય રોકાણકારો માટે એ સમજવું અગત્યનું છે કે Kog હાલમાં એક પ્રાઇવેટ કંપની છે. તે નેશનલ સ્ટોક એક્સચેન્જ (NSE) અથવા બોમ્બે સ્ટોક એક્સચેન્જ (BSE) પર લિસ્ટેડ નથી, અને તેના શેર જાહેર જનતા માટે ઉપલબ્ધ નથી. કંપનીએ Bpifrance જેવા રોકાણકારો પાસેથી આશરે $5 મિલિયન નું ફંડિંગ એકત્ર કર્યું છે, પરંતુ તેણે હજુ સુધી ઇનિશિયલ પબ્લિક ઑફરિંગ (IPO) કર્યું નથી.

શરૂઆતના પ્રોમિસિંગ પરફોર્મન્સ છતાં, કંપની નોંધપાત્ર બિઝનેસ રિસ્કનો સામનો કરી રહી છે. નાના મોડેલ્સથી લઈને મુખ્ય પ્રવાહના, મોટા પાયે LLMs સુધી આ સોફ્ટવેર પદ્ધતિને સ્કેલ કરવી એ એક મુશ્કેલ એન્જિનિયરિંગ પડકાર છે. વધુમાં, AI ઇન્ફ્રાસ્ટ્રક્ચર માર્કેટ અત્યંત સ્પર્ધાત્મક છે, જેમાં મોટી ટેક કંપનીઓ અને અન્ય સારી રીતે ફંડ મેળવેલા સ્ટાર્ટઅપ્સ સમાન કાર્યક્ષમતા સમસ્યાઓ હલ કરવા માટે સ્પર્ધા કરી રહ્યા છે. Kog, એક નાની ટીમ અને યુવાન ફર્મ તરીકે, તેણે સાબિત કરવું પડશે કે તે વધુ જટિલ મોડેલ્સ સાથે કામ કરતી વખતે તેની કામગીરીને સ્કેલ કરી શકે છે અને આ પરફોર્મન્સ ગેઇન્સ જાળવી શકે છે.

સ્ટાર્ટઅપ માટે આગામી મુખ્ય માઇલસ્ટોન એ મુખ્ય ઇન્ડસ્ટ્રી મોડેલ પર 10x સ્પીડ ઇમ્પ્રૂવમેન્ટ દર્શાવવાનું છે, જે લક્ષ્યાંક કંપની આગામી મહિનાઓમાં હાંસલ કરવાની અપેક્ષા રાખે છે. આ ટેકનિકલ લક્ષ્યમાં સફળતા કંપનીના ભવિષ્યના ફંડિંગ રાઉન્ડ અને લાંબા ગાળાની એન્ટરપ્રાઇઝ ભાગીદારી સુરક્ષિત કરવાની તેની ક્ષમતા માટે મુખ્ય પરિબળ બનશે.

Disclaimer: This article is published for informational purposes only. This is not a buy sell recommendation.