OpenAI Point E: Nggawe awan titik 3D saka gelombang kompleks sajrone sawetara menit ing GPU siji

Ing artikel anyar Point-E: Sistem kanggo ngasilake awan titik 3D saka sinyal kompleks, tim riset OpenAI ngenalake Point E, sistem sintesis kondisional teks awan titik 3D sing nggunakake model difusi kanggo nggawe wangun 3D sing variatif lan kompleks sing didorong dening teks kompleks. isyarat.ing menit ing GPU siji.
Kinerja apik banget saka model generasi gambar sing canggih saiki wis ngrangsang riset ing generasi obyek teks 3D.Nanging, ora kaya model 2D, sing bisa ngasilake output sajrone sawetara menit utawa malah sawetara detik, model generatif obyek biasane mbutuhake sawetara jam kerja GPU kanggo ngasilake sampel siji.
Ing artikel anyar Point-E: Sistem kanggo ngasilake awan titik 3D saka sinyal kompleks, tim riset OpenAI nampilake Point·E, sistem sintesis kondisional tekstual kanggo awan titik 3D.Pendekatan anyar iki nggunakake model panyebaran kanggo nggawe wangun 3D sing mawarni-warni lan kompleks saka sinyal teks sing kompleks sajrone mung siji utawa rong menit ing GPU siji.
Tim kasebut fokus ing tantangan ngowahi teks dadi 3D, sing penting kanggo nggawe demokratisasi konten 3D kanggo aplikasi donya nyata wiwit saka kasunyatan virtual lan game nganti desain industri.Cara sing ana kanggo ngowahi teks dadi 3D dadi rong kategori, sing saben duwe kekurangan: 1) model generatif bisa digunakake kanggo ngasilake conto kanthi efisien, nanging ora bisa skala kanthi efisien kanggo sinyal teks sing maneka warna lan kompleks;2) model gambar teks sing wis dilatih kanggo nangani isyarat teks sing kompleks lan maneka warna, nanging pendekatan iki intensif sacara komputasi lan model kasebut bisa gampang macet ing minimal lokal sing ora cocog karo obyek 3D sing penting utawa koheren.
Mulane, tim njelajah pendekatan alternatif sing tujuane kanggo nggabungake kekuwatan saka rong pendekatan ing ndhuwur, nggunakake model difusi teks-kanggo-gambar sing dilatih ing pasangan pasangan gambar-teks sing gedhe (ngidini kanggo nangani sinyal sing maneka warna lan kompleks) lan model difusi gambar 3D sing dilatih ing pasangan gambar teks sing luwih cilik.dataset pasangan gambar-3D.Model teks-kanggo-gambar pisanan nggawe conto gambar input kanggo nggawe perwakilan sintetik siji, lan model gambar-kanggo-3D nggawe awan titik 3D adhedhasar gambar sing dipilih.
Tumpukan generatif printah kasebut adhedhasar kerangka generatif sing diusulake kanggo nggawe gambar kanthi kondisional saka teks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Dheweke nggunakake model GLIDE kanthi 3 milyar paramèter GLIDE (Nichol et al., 2021), disetel kanthi apik ing model 3D sing dirender, minangka model transformasi teks-menyang-gambar, lan sakumpulan model difusi sing ngasilake awan titik RGB minangka model transformasi.gambar kanggo gambar.model 3D.
Nalika karya sadurunge nggunakake arsitektur 3D kanggo ngolah awan titik, peneliti nggunakake model basis transduser sing prasaja (Vaswani et al., 2017) kanggo ningkatake efisiensi.Ing arsitektur model difusi, gambar awan titik pisanan disedhiyakake menyang model ViT-L/14 CLIP sing wis dilatih lan banjur jejaring output dilebokake menyang konverter minangka penanda.
Ing panaliten empiris, tim kasebut mbandhingake metode Point·E sing diusulake karo model 3D generatif liyane babagan sinyal skor saka deteksi obyek COCO, segmentasi, lan set data teken.Asil negesake manawa Point·E bisa ngasilake wujud 3D sing maneka warna lan kompleks saka sinyal teks sing kompleks lan nyepetake wektu inferensi kanthi siji nganti rong urutan magnitudo.Tim ngarep-arep karyane bakal menehi inspirasi kanggo riset luwih lanjut babagan sintesis teks 3D.
Model panyebaran awan titik sing wis dilatih lan kode evaluasi kasedhiya ing GitHub proyek.Document Point-E: Sistem kanggo nggawe awan titik 3D saka pitunjuk kompleks ana ing arXiv.
Kita ngerti manawa sampeyan ora pengin kantun warta utawa panemuan ilmiah.Langganan buletin Synced Global AI Weekly sing populer kanggo nampa nganyari AI saben minggu.