Mewn erthygl newydd Point-E: System ar gyfer cynhyrchu cymylau pwynt 3D o signalau cymhleth, mae tîm ymchwil OpenAI yn cyflwyno Pwynt E, system synthesis amodol testun cwmwl pwynt 3D sy'n defnyddio modelau tryledu i greu siapiau 3D amrywiol a chymhleth wedi'u gyrru gan destun cymhleth ciwiau.mewn munudau ar un GPU.
Mae perfformiad anhygoel modelau cynhyrchu delweddau o'r radd flaenaf heddiw wedi ysgogi ymchwil wrth gynhyrchu gwrthrychau testun 3D.Fodd bynnag, yn wahanol i fodelau 2D, a all gynhyrchu allbwn mewn munudau neu hyd yn oed eiliadau, mae modelau sy'n cynhyrchu gwrthrychau fel arfer yn gofyn am sawl awr o waith GPU i gynhyrchu un sampl.
Mewn erthygl newydd Point-E: System ar gyfer cynhyrchu cymylau pwyntiau 3D o signalau cymhleth, mae tîm ymchwil OpenAI yn cyflwyno Point·E, system synthesis amodol testunol ar gyfer cymylau pwyntiau 3D.Mae'r dull newydd hwn yn defnyddio model lluosogi i greu siapiau 3D amrywiol a chymhleth o signalau testun cymhleth mewn dim ond munud neu ddau ar un GPU.
Mae'r tîm yn canolbwyntio ar yr her o drosi testun i 3D, sy'n hanfodol i ddemocrateiddio creu cynnwys 3D ar gyfer cymwysiadau byd go iawn yn amrywio o realiti rhithwir a hapchwarae i ddylunio diwydiannol.Mae dulliau presennol o drosi testun i 3D yn perthyn i ddau gategori, ac mae gan bob un ohonynt ei anfanteision: 1) gellir defnyddio modelau cynhyrchiol i gynhyrchu samplau yn effeithlon, ond ni allant raddio'n effeithlon ar gyfer signalau testun amrywiol a chymhleth;2) model delwedd-testun wedi'i hyfforddi ymlaen llaw i drin ciwiau testun cymhleth ac amrywiol, ond mae'r dull hwn yn ddwys yn gyfrifiadurol a gall y model fynd yn sownd yn hawdd mewn minima lleol nad ydynt yn cyfateb i wrthrychau 3D ystyrlon neu gydlynol.
Felly, archwiliodd y tîm ddull amgen sy’n ceisio cyfuno cryfderau’r ddau ddull uchod, gan ddefnyddio model tryledu testun-i-ddelwedd wedi’i hyfforddi ar set fawr o barau testun-delwedd (gan ganiatáu iddo drin signalau amrywiol a chymhleth) a model tryledu delwedd 3D wedi'i hyfforddi ar set lai o barau testun-delwedd.set ddata pâr delwedd-3D.Mae'r model testun-i-ddelwedd yn samplu'r ddelwedd mewnbwn yn gyntaf i greu cynrychioliad synthetig sengl, ac mae'r model delwedd-i-3D yn creu cwmwl pwynt 3D yn seiliedig ar y ddelwedd a ddewiswyd.
Mae pentwr cynhyrchiol y gorchymyn yn seiliedig ar fframweithiau cynhyrchiol a gynigiwyd yn ddiweddar ar gyfer cynhyrchu delweddau yn amodol o destun (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Maent yn defnyddio model GLIDE gyda 3 biliwn o baramedrau GLIDE (Nichol et al., 2021), wedi'u mireinio ar fodelau 3D wedi'u rendro, fel eu model trawsnewid testun-i-ddelwedd, a set o fodelau tryledu sy'n cynhyrchu cymylau pwynt RGB fel eu model. model trawsnewid.delweddau i ddelwedd.modelau 3D.
Er bod gwaith blaenorol yn defnyddio pensaernïaeth 3D i brosesu cymylau pwynt, defnyddiodd yr ymchwilwyr fodel syml yn seiliedig ar drawsddygiadur (Vaswani et al., 2017) i wella effeithlonrwydd.Yn eu pensaernïaeth model tryledu, mae delweddau cwmwl pwynt yn cael eu bwydo'n gyntaf i fodel CLIP ViT-L/14 sydd wedi'i hyfforddi ymlaen llaw ac yna mae'r rhwyllau allbwn yn cael eu bwydo i'r trawsnewidydd fel marcwyr.
Yn eu hastudiaeth empirig, cymharodd y tîm y dull Point·E arfaethedig â modelau 3D cynhyrchiol eraill ar signalau sgorio o setiau data canfod, segmentu a llofnod gwrthrychau COCO.Mae'r canlyniadau'n cadarnhau bod Pwynt·E yn gallu cynhyrchu siapiau 3D amrywiol a chymhleth o signalau testun cymhleth a chyflymu amser casglu fesul un i ddau orchymyn maint.Mae'r tîm yn gobeithio y bydd eu gwaith yn ysbrydoli ymchwil pellach i synthesis testun 3D.
Mae model lluosogi cwmwl pwynt wedi'i hyfforddi ymlaen llaw a chod gwerthuso ar gael ar GitHub y prosiect.Pwynt Dogfen-E: Mae system ar gyfer creu cymylau pwyntiau 3D o gliwiau cymhleth ar arXiv.
Gwyddom nad ydych am golli unrhyw newyddion na darganfyddiad gwyddonol.Tanysgrifiwch i'n cylchlythyr poblogaidd Synced Global AI Weekly i dderbyn diweddariadau AI wythnosol.
Amser postio: Rhagfyr 28-2022