ÄãºÃ£¡»¶Ó­À´µ½ÉîÛÚÊÐÆ·»Ûµç×ÓÓÐÏÞ¹«Ë¾£¡
ÓïÑÔ
µ±Ç°Î»ÖãºÊ×Ò³ >> ¼¼ÊõÖÐÐÄ >> ´«¸Ð¼¼Êõ >> ´óÄ£ÐÍ GPT-4 Ô¤²â³¤ÕâÑù£º±È GPT-3 ÂÔ´ó¡¢´¿Îı¾¡¢¸ü×¢ÖØ×îÓżÆËãÓë¶ÔÆë

´óÄ£ÐÍ GPT-4 Ô¤²â³¤ÕâÑù£º±È GPT-3 ÂÔ´ó¡¢´¿Îı¾¡¢¸ü×¢ÖØ×îÓżÆËãÓë¶ÔÆë


²»¾Ãǰ£¬¹È¸è·¢²¼»ùÓÚËûÃÇ×îÐÂÒ»´úÈ˹¤ÖÇÄܼܹ¹ Pathways Ñз¢µÄ 5400 ÒÚ²ÎÊý´óÄ£ÐÍ ¡ª¡ªPaLM£¬¾ß±¸±ê¼ÇÒò¹û¹ØÏµ¡¢ÉÏÏÂÎÄÀí½â¡¢ÍÆÀí¡¢´úÂëÉú³ÉµÈµÈ¶àÏÄÜ£¬ÆäÖг£Ê¶ÍÆÀíÄÜÁ¦¸üÊǽÏÒÔÍùµÄÓïÑÔÄ£ÐÍÓнϴóÌáÉý¡£

µ«Í¬Ê±£¬´ó¼ÒÒ²Ò»Èç¼ÈÍùµØ×¢Òâµ½ PaLM µÄ¼ÆËã³É±¾£ºÓÃÁË 6144 ¿é TPU¡£Èç¹û×âÏÔ¿¨ÑµÁ·£¬×î¸ß»¨·Ñ¿ÉÄÜ´ïµ½ 1700 ÍòÃÀÔª£¨ÈËÃñ±Ò³¬¹ý 1 ¸öÒÚ£¬¡°Ò»¸öСĿ±ê¡±£©¡£

ÏÔÈ»£¬ÕâºÜÉÕÇ®£¬²»·ûºÏ¡°¾­¼Ã¿ÉÓá±µÄÔ­Ôò¡£ÄѹÖÒµÄÚÈËÊ¿³£³£Í²ۣº¿à´óÄ£Ð;ÃÒÓ¡£

Èç¹ûÄ£ÐÍÍù´ó×ߣ¬Ò»¸ö¾¢µØÔÒÇ®£¬ºÎʱÊǸö¾¡Í·£¿ÓÐѧÕßÒ²Ïò AI ¿Æ¼¼ÆÀÂÛ±íʾ£ºÀàËÆ PaLM ÕâÑùµÄ´óÄ£ÐÍÔÚ½á¹ûÉÏȷʵȡµÃÁ˲»´íµÄÍ»ÆÆ£¬µ«ÑµÁ·Óë¼ÆËãµÄ³É±¾·Ç³£¸ß£¬Ã»±ØÒª½«Ðí¶àÈÎÎñÆ´ÔÚÒ»Æð¡£

¶ÔÓÚ´óÄ£Ð͵ÄδÀ´·¢Õ¹£¬GPT ϵÁлòÐíÄÜÌṩһЩеļû½â¡£

½üÈÕ£¬Cambrian AI µÄ·ÖÎöʦ Alberto Romero ±ã·¢±íÁËһƪÎÄÕ£¬»ùÓÚ OpenAI Ê×ϯִÐй٠Sam Altman ÔÚÊýÔÂǰµÄ˵·¨£¬ÍƲâ GPT-4 ¼´½«ÔÚ½ñÄê 7 Ôµ½ 8 Ô·¢²¼£¬²¢»ùÓÚ Altman ÔÚÈ¥ÄêµÄÒ»³¡ÎÊ´ð£¬¶Ô GPT-4 µÄÌØÕ÷½øÐÐÁËÔ¤²â¡£

¿ÉÒԿ϶¨µÄÊÇ£¬Altman ³Æ£¬GPT-4 µÄ²ÎÊý²»»á´ïµ½ 100T¡£

Alberto Romero Ò²²Â²â£¬»òÐí GPT-4 µÄ¹æÄ£»á±È GPT-3 ÂԴ󣬵«¡°´ó¡±²»»áÏñ GPT-3 Ò»Ñù³ÉΪ GPT-4 µÄ¡°Âôµã¡±¡£Ïà·´£¬OpenAI ¸üÖÂÁ¦ÓÚÈçºÎÈùæÄ£½ÏСµÄÄ£ÐÍ·¢»Ó¸ü´óµÄÐÔÄÜ¡£

Ô¤²â 1£ºGPT-4 ²»»áÌ«´ó

Ê×ÏÈ£¬Alberto Åжϣ¬GPT-4 ²»»áÊÇ×î´óµÄÓïÑÔÄ£ÐÍ¡£Altman Ò²³ÆËü²»»á±È GPT-3 ´óºÜ¶à¡£Óëǰ¼¸´úµÄÉñ¾­ÍøÂçÏà±È£¬GPT-4 ¿Ï¶¨»áºÜ´ó£¬µ«´óС²»»áÊÇËüµÄÏÔÖøÌØÕ÷¡£GPT-4 ¿ÉÄܽéÓÚ GPT-3 ºÍ Gopher (175B-280B) Ö®¼ä¡£

½Ó×Å£¬Alberto ¸ø³öÁËËûÔ¤²âµÄÀíÓÉ£º

È¥ÄêÓÉӢΰ´ïºÍ΢Èí¿ª·¢µÄ Megatron-Turing NLG ÓÐ 530B ²ÎÊý£¬Ò»Ö±ÊÇ×î´óµÄÃܼ¯Éñ¾­ÍøÂç ¡ª¡ª Æä´óСÒÑÊÇ GPT-3 µÄ 3 ±¶ ¡ª¡ª Ö±µ½×î½ü³öÏÖÁ˹ȸèµÄ PaLM£¬Æä´óСΪ 540B¡£µ«ÖµµÃ×¢ÒâµÄÊÇ£¬MT-NLG Ö®ºóµÄһЩ½ÏСµÄÄ£ÐÍ´ïµ½Á˸ü¸ßµÄÐÔÄÜˮƽ¡£

Ò²¾ÍÊÇ˵£¬¸ü´ó ¡Ù ¸üºÃ¡£Ð¡ÐÍÄ£Ð͵ĴæÔÚÓÐÁ½¸öÒâÒå¡£

ÆäÒ»ÊÇ£¬ÆóÒµÒѾ­Òâʶµ½£¬Òª¸ÄÉÆÐÔÄÜ£¬À©´óÄ£Ð͵ĹæÄ£²»ÊÇΨһµÄ·½·¨£¬Ò²²»ÊÇ×îºÃµÄ·½·¨¡£2020 Ä꣬OpenAI µÄ Jared Kaplan ºÍͬʵóö½áÂÛ£¬µ±Ôö¼ÓµÄ¼ÆËãÔ¤ËãÖ÷Òª·ÖÅäµ½Ôö¼Ó²ÎÊýµÄÊýÁ¿ÉÏʱ£¬ÐÔÄܵÄÌá¸ßÊÇ×îÏÔÖøµÄ£¬²¢ÇÒ×ñÑ­ÃÝÂɹØÏµ¡£¹È¸è¡¢Ó¢Î°´ï¡¢Î¢Èí¡¢OpenAI¡¢DeepMind ºÍÆäËû¿ª·¢ÓïÑÔÄ£Ð͵Ĺ«Ë¾´Ó±íÃæÉÏ¿´½ÓÊÜÁËÕâÒ»Ö¸µ¼Ô­Ôò¡£

ÂÛÎĵØÖ·£ºhttps://arxiv.org/ pdf / 2001.08361.pdf

MT-NLG ËäÈ»¹æÄ£ºÜ´ó£¬µ«ÔÚÐÔÄÜ·½Ãæ²¢²»ÊÇ×îºÃµÄ¡£ÊÂʵÉÏ£¬ËüÔÚÈκε¥Ò»Àà±ð»ù×¼É϶¼²»ÊÇ×îºÃµÄ´æÔÚ¡£Ïñ Gopher (280B) »ò Chinchilla (70B) ÕâÖÖ¸üСµÄÄ£ÐÍ ¡ª¡ª ÄÄŽö½öÊÇÆäһС²¿·Ö ¡ª¡ª ÔÚÈÎÎñÉϵıíÏÖ¶¼±È MT-NLG ºÃµÃ¶à¡£

µÚ¶þ¸öÒâÒåÊÇ£¬¹«Ë¾¿ªÊ¼¾Ü¾ø¡°Ô½´óÔ½ºÃ¡±µÄ½ÌÌõ¡£ËäÈ»Ôö¼Ó²ÎÊýºÜ¼òµ¥£¬µ«ÊÇÓµÓиü¶à²ÎÊýÖ»ÊÇÖÚ¶à¿ÉÒÔÌá¸ßÐÔÄܵÄÒòËØÖ®Ò»£¬¶ø¸½´øË𺦣¨Èç̼×ã¼£¡¢¼ÆËã³É±¾»ò½øÈëËÀ·£©·´¶øÊ¹Æä³ÉΪ×îÔã¸âµÄÒòËØÖ®Ò»¡£Èç¹ûÆóÒµÄܹ»´ÓÒ»¸ö½ÏСµÄÄ£ÐÍÖлñµÃÀàËÆ»ò¸üºÃµÄ½á¹ûʱ£¬ÔÚ¹¹½¨Ò»¸öÅÓ´óµÄÄ£ÐÍ֮ǰ¾Í»áÈý˼¶øºóÐС£

Altman ˵£¬ËûÃDz»ÔÙרעÓÚÖÆÔì·Ç³£´óµÄÄ£ÐÍ£¬¶øÊÇÖÂÁ¦ÓÚÈýÏСµÄÄ£ÐÍ·¢»Ó×î´óµÄ×÷Óá£OpenAI µÄÑо¿ÈËÔ±ÊÇËõ·Å¼ÙÉ裨scaling hypothesis£©ÔçÆÚµÄ³«µ¼ÈË£¬µ«ÏÖÔÚËûÃÇ¿ÉÄÜÒѾ­Òâʶµ½ÆäËû»¹Ã»×ß¹ýµÄ·¿ÉÒԸĽøÄ£ÐÍ¡£

Ïà±È½« GPT-4 ×ö´ó£¬Alberto ¸üÇãÏòÓÚÈÏΪ£¬OpenAI »á½«°ÑÖØµã×ªÒÆµ½ÆäËû·½Ãæ ¡ª¡ª ±ÈÈçÊý¾Ý¡¢Ëã·¨¡¢²ÎÊý»¯»ò¶ÔÆë ¡ª¡ª ÕâЩÒòËØ¿ÉÒÔ¸üÏÔÖøµØ¸Ä½øÄ£ÐÍ¡£

Ô¤²â 2£ºGPT-4 ÊÔͼѰÕÒ¡°×îÓÅ¡±

µ±Éæ¼°µ½ÓÅ»¯Ê±£¬ÓïÑÔÄ£ÐÍ»áÓöµ½Ò»¸ö¹Ø¼üµÄÎÊÌ⡣ѵÁ·Èç´Ë°º¹ó£¬ÒÔÖÁÓÚÆóÒµ²»µÃ²»ÔÚ׼ȷÐԺͳɱ¾Ö®¼ä×ö³öȨºâ¡£¶øÕâÖÖ¾ñÔñ³£³£»áµ¼ÖÂÄ£ÐÍÃ÷ÏÔδÓÅ»¯¡£

GPT-3 Ö»±»ÑµÁ·ÁËÒ»´Î£¬ÈÔÓÐһЩ´íÎó£¬ÕâЩ´íÎóÔÚijЩÇé¿öÏ¿ÉÄܻᵼÖÂÖØÐÂѵÁ·¡£ÓÉÓڳɱ¾Ì«¸ß¡¢¸ºµ£²»Æð£¬OpenAI ¾ö¶¨²»½øÐÐÓÅ»¯£¬¶øÕâʹµÃÑо¿ÈËÔ±ÎÞ·¨ÕÒµ½Ä£Ð͵Ä×î¼Ñ³¬²ÎÊý¼¯£¨ÀýÈçѧϰËÙÂÊ¡¢Åú³ß´ç¡¢ÐòÁг¤¶ÈµÈ£©¡£

ѵÁ·³É±¾ºÜ¸ßµ¼ÖµÄÁíÒ»¸öºó¹ûÊÇÄ£ÐÍÐÐΪµÄ·ÖÎöÊܵ½ÏÞÖÆ¡£µ± Kaplan µÄÍŶÓ×ܽá³öÄ£ÐÍ´óСÊÇÌá¸ßÐÔÄÜ×îÏà¹ØµÄ±äÁ¿Ê±£¬ËûÃÇûÓп¼Âǵ½ÑµÁ·ÁîÅÆµÄÊýÁ¿ ¡ª¡ª Ò²¾ÍÊÇÊäÈëÄ£Ð͵ÄÊý¾ÝÁ¿¡£ÕâÑù×ö½«ÐèÒª´óÁ¿µÄ¼ÆËã×ÊÔ´¡£

¿Æ¼¼¹«Ë¾×ñÑ­ Kaplan µÄ½áÂÛ£¬ÒòΪÕâÒÑÊÇËûÃÇËùÖª×îºÃµÄÏë·¨¡£·í´ÌµÄÊÇ£¬ÕýÊÇÊܵ½¾­¼ÃÏÞÖÆµÄÓ°Ï죬¹È¸è¡¢Î¢Èí¡¢Facebook ºÍÆäËû¹«Ë¾ÔÚÔ½À´Ô½´óµÄÄ£ÐÍÉÏ¡°ÀË·Ñ¡±ÁËÊý°ÙÍòÃÀÔª£¬²¢ÇÒÔÚÕâ¸ö¹ý³ÌÖвúÉúÁË´óÁ¿µÄÎÛȾ¡£

ÏÖÔÚ£¬ÒÔ DeepMind ºÍ OpenAI ΪÊ׵Ĺ«Ë¾ÕýÔÚ̽Ë÷ÆäËû·½·¨¡£ËûÃÇÊÔͼÕÒµ½×îÓÅÄ£ÐÍ£¬¶ø²»½ö½öÊǸü´óµÄÄ£ÐÍ¡£

×î¼Ñ²ÎÊý»¯

ÉϸöÔ£¬Î¢ÈíºÍ OpenAI Ö¤Ã÷£¬Èç¹ûʹÓÃ×îÓų¬²ÎÊýѵÁ·Ä£ÐÍ£¬GPT-3 ¿ÉÒԵõ½½øÒ»²½µÄ¸Ä½ø¡£ËûÃÇ·¢ÏÖ£¬6.7B °æ GPT-3 µÄÐÔÄÜÌá¸ßÁ˺ܶ࣬¿ÉÒÔÓë×î³õµÄ 13B °æ GPT-3 æÇÃÀ¡£³¬²ÎÊýµ÷ÓÅ£¨¶ÔÓڽϴóµÄÄ£ÐÍÀ´Ëµ²»¿ÉÐУ©¸³ÓèµÄÐÔÄÜÌáÉýÏ൱ÓÚ²ÎÊýÊýÁ¿Ôö¼ÓÁËÒ»±¶¡£

ËûÃÇ·¢ÏÖÁËÒ»ÖÖеIJÎÊý»¯ (¦ÌP)£¬ÔÚÕâÖÖ²ÎÊý»¯ÖУ¬Ð¡ÐÍÄ£Ð͵Ä×î¼Ñ³¬²ÎÊýҲͬÑùÊÊÓÃÓÚͬÀà´óÐÍÄ£ÐÍ¡£¦ÌP ʹËûÃÇÄܹ»ÓÅ»¯ÈÎÒâ´óСµÄÄ£ÐÍ£¬¶øÇÒÖ»Ð軨·ÑºÜСһ²¿·ÖµÄÅàѵ³É±¾¡£È»ºóÕâЩ³¬²ÎÊý¿ÉÒÔ¼¸ºõ²»»¨Ç®µØ×ªÒƵ½¸ü´óµÄÄ£ÐÍÖС£

×îÓżÆËãÄ£ÐÍ

¼¸ÖÜǰ£¬DeepMind ÖØÐÂÉóÊÓÁË Kaplan µÄ·¢ÏÖ£¬²¢Òâʶµ½ÑµÁ·ÁîÅÆµÄÊýÁ¿ÓëÄ£ÐÍ´óСһÑùÓ°ÏìÐÔÄÜ£¬¶øÕâÓëÈËÃǵĿ´·¨Ïà·´¡£ËûÃǵĽáÂÛÊÇ£¬Ëæ×Ÿü¶àµÄ¼ÆËãÔ¤Ëã¿ÉÓã¬Ó¦¸Ã½«Æäƽ¾ù·ÖÅ䏸¿ÉËõ·Å²ÎÊýºÍÊý¾Ý¡£ËûÃÇͨ¹ýѵÁ· Chinchilla À´Ö¤Ã÷×Ô¼ºµÄ¼ÙÉ裬Chinchilla ÊÇÒ»¸ö 70B Ä£ÐÍ£¨ÊÇÔø¾­µÄ SOTA£¬±È Gopher С 4 ±¶£©£¬ËüʹÓõÄÊý¾ÝÊÇ GPT-3 (1.4T ÁîÅÆ-À´×ÔµäÐ굀 300B£©ÒÔÀ´ËùÓдóÐÍÓïÑÔÄ£Ð굀 4 ±¶¡£

½á¹ûÊÇÃ÷È·µÄ¡£ÔÚÐí¶àÓïÑÔ»ù×¼²âÊÔÖУ¬Chinchilla¡°Ò»ÖÂÇÒÏÔÖøµØ¡±ÓÅÓÚ Gopher¡¢GPT-3¡¢MT-NLG ºÍËùÓÐÆäËûÓïÑÔÄ£ÐÍ£¬¶øÄ¿Ç°µÄÄ£ÐÍÓйý´óµÄÎÊÌ⣬ÇÒѵÁ·²»×ã¡£

¿¼Âǵ½ GPT-4 ½«ÂÔ´óÓÚ GPT-3£¬¸ù¾Ý DeepMind µÄ·¢ÏÖ£¬GPT-4 ÐèÒª´ïµ½¼ÆËãÓÅ»¯µÄѵÁ·ÁîÅÆÊýÁ¿½«Ô¼Îª 5 ÍòÒÚ£¬±Èµ±Ç°µÄÊý¾Ý¼¯¸ß³öÒ»¸öÊýÁ¿¼¶¡£ËûÃÇÐèҪѵÁ·Ä£ÐÍÒÔ´ïµ½×îСѵÁ·ËðʧµÄʧ°Ü´ÎÊý£¬½«±ÈËûÃÇʹÓà GPT-3£¨Ê¹Óà Gopher µÄ¼ÆËãÔ¤Ëã×÷Ϊ´úÌæ£©Ê±¶à 10 - 20 ±¶¡£

Altman ÔÚÎÊ´ðÖÐ˵ GPT-4 ½«±È GPT-3 ʹÓøü¶àµÄ¼ÆËãʱ£¬¿ÉÄܾÍÊÇÔÚÖ¸ÕâÒ»µã¡£

OpenAI ¿Ï¶¨»á¶Ô GPT-4 ½øÐÐÓÅ»¯Ïà¹ØµÄµ÷²é ¡ª¡ª ¾¡¹Ü¾ßÌ嵽ʲô³Ì¶È»¹ÎÞ·¨Ô¤²â£¬ÒòΪËûÃǵÄÔ¤ËãÊÇδ֪µÄ¡£¿ÉÒԿ϶¨µÄÊÇ£¬OpenAI ½«×¨×¢ÓÚÓÅ»¯³ýÄ£ÐÍ´óС֮ÍâµÄÆäËû±äÁ¿¡£ÕÒµ½³¬²ÎÊýµÄ×î¼Ñ¼¯ºÏ£¬×îÓżÆËãÄ£ÐÍ´óСºÍ²ÎÊýµÄÊýÁ¿¿ÉÒÔÔÚËùÓлù×¼²âÊÔÖдøÀ´ÄÑÒÔÖÃÐŵĸĽø¡£Èç¹û½«ÕâЩ·½·¨ºÏ²¢µ½Ò»¸öÄ£ÐÍÖУ¬ÄÇÕâ¸öÄ£Ðͽ«»á´ïµ½Ò»¸öËùÓÐÔ¤²â¶¼ÄÑÒÔÏëÏóµÄ¸ß¶È¡£

Altman »¹Ëµ£¬Èç¹û²»°ÑÄ£ÐÍ×ö´ó£¬ÈËÃǾͲ»»áÏàÐÅÄ£ÐÍÄÜÓжàºÃ¡£Ëû¿ÉÄÜÊÇÖ¸À©´óÄ£ÐͳߴçµÄ¹¤×÷ĿǰÒѾ­½áÊø¡£

Ô¤²â 3£ºGPT-4 ½«ÊÇÒ»¸ö´¿Îı¾Ä£ÐÍ

Éî¶ÈѧϰµÄδÀ´ÊǶàģ̬ģÐÍ¡£ÈËÀàµÄ´óÄÔÓжàÖָоõ£¬ÕâÊÇÒòΪÎÒÃÇÉú»îÔÚÒ»¸ö¶àģ̬µÄÊÀ½ç¡£Ã¿´ÎÖ»ÒÔÒ»ÖÖģʽ¸ÐÖªÊÀ½ç£¬¼«´óµØÏÞÖÆÁËÈ˹¤ÖÇÄÜ´¦Àí»òÀí½âÊÀ½çµÄÄÜÁ¦¡£

È»¶ø£¬Á¼ºÃµÄ¶àģ̬ģÐͱÈÁ¼ºÃµÄ½öÓÃÓïÑÔ»ò½öÓÃÊÓ¾õµÄÄ£ÐÍÒªÄѵöࡣ½«ÊÓ¾õÐÅÏ¢ºÍÎı¾ÐÅÏ¢×éºÏ³Éµ¥Ò»µÄ±íʾÐÎʽÊÇÒ»Ïî¼è¾ÞµÄÈÎÎñ¡£ÎÒÃǶԴóÄÔÊÇÈçºÎ×öµ½ÕâÒ»µãµÄÁ˽â·Ç³£ÓÐÏÞ£¨²¢²»ÊÇ˵Éî¶ÈѧϰÉçÇø¿¼ÂÇÁËÈÏÖª¿ÆÑ§¶Ô´óÄԽṹºÍ¹¦Äܵļû½â£©£¬ËùÒÔÎÒÃDz»ÖªµÀÈçºÎÔÚÉñ¾­ÍøÂçÖÐʵʩ¡£

Altman ÔÚÎÊ´ðÖÐ˵ GPT-4 ²»»áÊǶàģ̬µÄ£¨Ïñ DALL?E »ò LaMDA ÄÇÑù£©£¬¶øÊÇÒ»¸ö´¿Îı¾Ä£ÐÍ¡£Òò´Ë£¬Alberto µÄ²Â²âÊÇ£¬ÔÚÌøµ½ÏÂÒ»´ú¶àģ̬È˹¤ÖÇÄÜ֮ǰ£¬ËûÃÇÊÔͼͨ¹ý¶ÔÄ£ÐͺÍÊý¾Ý¼¯´óСµÈÒòËØ½øÐе÷ÕûÀ´´ïµ½ÓïÑÔÄ£Ð͵ļ«ÏÞ¡£

Ô¤²â 4£ºGPT-4 ½«ÊÇÒ»¸öÃܼ¯Ä£ÐÍ

Ï¡ÊèÄ£ÐÍÀûÓÃÌõ¼þ¼ÆË㣬ʹÓÃÄ£Ð͵IJ»Í¬²¿·Ö´¦Àí²»Í¬ÀàÐ͵ÄÊäÈ롣ϡÊèÄ£ÐÍ×î½üÈ¡µÃÁ˾޴óµÄ³É¹¦£¬Æä¿ÉÒÔºÜÈÝÒ×µØÀ©Õ¹µ½³¬¹ý 1T ²ÎÊý±ê¼Ç£¬¶ø²»»á²úÉú¸ß¶îµÄ¼ÆËã³É±¾£¬Äܹ»ÔÚÄ£ÐÍ´óСºÍ¼ÆËãÔ¤ËãÖ®¼ä´´½¨Ò»¸ö¿´ËÆÕý½»µÄ¹ØÏµ¡£È»¶ø£¬MoE ·½·¨µÄºÃ´¦Ôڷdz£´óµÄÄ£ÐÍÉϾÍûÄÇô¶àÁË¡£

¿¼Âǵ½ OpenAI ¹Ø×¢Ãܼ¯ÓïÑÔÄ£Ð͵ÄÀúÊ·£¬Alberto ÈÏΪ£¬GPT-4 ´ó¸ÅÂÊÒ²½«ÊÇÒ»¸öÃܼ¯Ä£ÐÍ¡£ÓÖÒòΪ Altman ˵ GPT-4 ²»»á±È GPT-3 ´óºÜ¶à£¬ÎÒÃÇ¿ÉÒԵóö½áÂÛ£¬Ï¡ÊèÐÔ²»ÊÇ OpenAI µÄÑ¡Ôñ ¡ª¡ª ÖÁÉÙĿǰÊÇÕâÑù¡£

¼øÓÚÈ˹¤ÖÇÄܵÄÁé¸ÐÀ´Ô´£¬¼´ÈËÀà´óÄÔ£¬ÑÏÖØÒÀÀµÓÚÏ¡Êè´¦Àí¡£Óë¶àģ̬һÑù£¬Ï¡ÊèÐԺܿÉÄÜ»áÖ÷µ¼Î´À´¼¸´úµÄÉñ¾­ÍøÂç¡£

Ô¤²â 5£ºGPT-4 »á±È GPT-3 ¸ü¶ÔÆë

OpenAI ÔÚ½â¾ö AI ¶ÔÆëÎÊÌâÉÏͶÈëÁË´óÁ¿µÄ¾«Á¦£ºÈçºÎÈÃÓïÑÔÄ£ÐÍ×ñÑ­ÎÒÃǵÄÒâͼ²¢¼á³ÖÎÒÃǵļÛÖµ¹Û ¡ª¡ª ²»¹ÜÕâµ½µ×Òâζ×Åʲô¡£Õâ²»½öÊÇÒ»¸öÊýѧÄÑÌ⣨ÀýÈ磬ÎÒÃÇÈçºÎÈÃÈ˹¤ÖÇÄÜ׼ȷÀí½âÎÒÃÇÏëÒªµÄ¶«Î÷?£©£¬¶øÇÒÒ²ÊÇÒ»¸öÕÜѧÄÑÌ⣨±ÈÈçûÓÐÒ»ÖÖͨÓõķ½·¨¿ÉÒÔÈÃÈ˹¤ÖÇÄÜÓëÈËÀà±£³ÖÒ»Ö£¬ÒòΪÈËÀà¼ÛÖµ¹ÛÔÚ²»Í¬ÈºÌåÖ®¼äµÄ²îÒìÊǾ޴óµÄ£¬¶øÇÒ³£³£»¥Ïà³åÍ»£©¡£

ËûÃÇʹÓà InstructGPT ½øÐÐÁ˵ÚÒ»´Î³¢ÊÔ£¬ÕâÊÇÒ»ÖÖͨ¹ýÈËÀàµÄ·´À¡À´Ñ§Ï°×ñÊØÖ¸ÁîµÄРGPT-3 (²»¹ÜÕâЩָÁîÊdzöÓÚºÃÒ⻹ÊǶñÒ⣬¶¼Ã»Óб»ÄÉÈëÄ£ÐÍÖÐ)¡£

InstructGPT µÄÖ÷ÒªÍ»ÆÆÔÚÓÚ£¬²»¹ÜÆäÔÚÓïÑÔ»ù×¼ÉϵĽá¹ûÈçºÎ£¬Æä¶¼±»ÈËÀàÆÀÉóÈÏΪÊÇÒ»¸ö¸üºÃµÄÄ£ÐÍ£¨ÕâЩÆÀÉóÊÇÒ»¸öÓÉ OpenAI Ô±¹¤ºÍÓ¢ÓïÈËÊ¿¹¹³ÉµÄͬÖʵÄȺÌ壬ËùÒÔÎÒÃÇÓ¦¸Ã¶ÔµÃ³öµÄ½áÂÛ±£³Ö½÷É÷µÄ̬¶È£©¡£ÕâÏÔÖø±íÃ÷£¬ÎÒÃÇÓбØÒª¿Ë·þ°Ñ»ù×¼×÷ΪÆÀ¹ÀÈ˹¤ÖÇÄÜÄÜÁ¦µÄΨһָ±ê¡£ÈËÀàÈçºÎ¸ÐÖªÕâЩģÐÍ¿ÉÄÜͬÑùÖØÒª£¬Èç¹û²»ÊǸüÖØÒªµÄ»°¡£

¿¼Âǵ½ Altman ºÍ OpenAI Òª×ñÊØ×÷Ϊһ¸öÓÐÒæ AGI µÄ³Ðŵ£¬ÎÒÏàÐÅ GPT-4 ½«ÊµÏÖ²¢¹¹½¨ËûÃÇ´Ó InstructGPT ÖлñµÃµÄ·¢ÏÖ¡£

ÎÒÈÏΪËûÃǽ«¸Ä½ø¶ÔÆëģʽµÄ·½Ê½£¬ÒòΪĿǰΪÕâ¸öÄ£ÐÍÖÆ×÷±êÇ©µÄ½öÏÞÓÚ OpenAI Ô±¹¤ºÍÓ¢ÓïÈËÊ¿¡£¶øÕæÕýµÄ¶ÔÆëÓ¦¸Ã°üÀ¨¸÷ÖÖÐÔ±ð¡¢ÖÖ×å¡¢¹ú¼®µÈ·½ÃæÈºÌå¡£ÕâÊÇÒ»¸ö¾Þ´óµÄÌôÕ½£¬³¯×ÅÕâ¸öÄ¿±êÂõ½øµÄÈκÎÒ»²½¶¼½«Êܵ½´óÖڵ϶ӭ¡£

6 ×ܽá

Ä£ÐÍ´óС£ºGPT-4 ½«±È GPT-3 ´ó£¬µ«ÓëĿǰ×î´óµÄÄ£ÐÍ£¨MT-NLG 530B ºÍ PaLM 540B£©Ïà±È²»ÊǺܴó¡£Ä£Ð͹æÄ£²»»áÊÇÒ»¸öÏÔÖøµÄÌØÕ÷¡£

×îÓÅÐÔ£ºGPT-4 ½«±È GPT-3 ʹÓøü¶àµÄ¼ÆËã¡£GPT-4 ½«ÊµÏÖ¶Ô²ÎÊý»¯£¨×îÓų¬²ÎÊý£©ºÍ±ÈÀý·¨Ôò£¨ÑµÁ·ÁîÅÆµÄÊýÁ¿ÓëÄ£ÐÍ´óСͬÑùÖØÒª£©µÄÐÂÓÅ»¯¼û½â¡£

¶àģ̬£ºGPT-4 ½«ÊÇÒ»¸ö´¿Îı¾Ä£ÐÍ£¬¶ø²»ÊǶàģ̬ģÐÍ¡£OpenAI Ï£ÍûÔÚÍêÈ«Ìøµ½Ïñ DALL?E ÕâÑùµÄ¶àģ̬ģÐÍ֮ǰÏȳä·ÖÀûÓúÃÓïÑÔÄ£ÐÍ¡£

Ï¡ÊèÐÔ£º°´ÕÕ GPT-2 ºÍ GPT-3 µÄÇ÷ÊÆ£¬GPT-4 ½«ÊÇÒ»¸öÃܼ¯Ä£ÐÍ£¨ËùÓвÎÊý½«ÓÃÓÚ´¦ÀíÈκθø¶¨µÄÊäÈ룩¡£ÔÚδÀ´£¬Ï¡È±ÐÔ½«±äµÃ¸ü¼ÓÖØÒª¡£

¶ÔÆë£ºGPT-4 ½«±È GPT-3 ¸ü¶ÔÆë£¬Æä½«´Ó InstructGPT ½øÐÐѧϰ£¬¶ø InstructGPT ÊǸù¾ÝÈËÀàµÄ·´À¡½øÐÐѵÁ·µÄ¡£²»¹ý£¬È˹¤ÖÇÄÜµÄ¶ÔÆë»¹Óкܳ¤µÄ·Ҫ×ߣ¬ÎÒÃÇÓ¦¸Ã×ÐϸÆÀ¹ÀËù×ö³öµÄ¹¤×÷£¬¶ø²»Ó¦¸Ã¶Ô´Ë½øÐг´×÷¡£

ÄãÔõô¿´£¿

²Î¿¼Á´½Ó£º

https://towardsdatascience.com/gpt-4-is-coming-soon-heres-what-we-know-about-it-64db058cfd45

https://towardsdatascience.com/how-microsoft-openai-are-squeezing-the-best-out-of-gpt-3-ad0990a66cbe

https://www.metaculus.com/questions/7401/when-will-gpt-4-be-announced/

Óû§ÆÀÂÛ

·¢ÆÀÂÛËÍ»ý·Ö£¬²ÎÓë¾ÍÓн±Àø£¡

·¢±íÆÀÂÛ

ÆÀÂÛÄÚÈÝ£º·¢±íÆÀÂÛ²»ÄÜÇë²»Òª³¬¹ý250×Ö£»·¢±íÆÀÂÛÇë×Ô¾õ×ñÊØ»¥ÁªÍøÏà¹ØÕþ²ß·¨¹æ¡£

ÉîÛÚÊÐÆ·»Ûµç×ÓÓÐÏÞ¹«Ë¾

×îÐÂÄÚÈÝ