Ang marka ng BLEU ay isang malawakang ginagamit na sukatan para sa pagsusuri sa pagganap ng mga modelo ng pagsasalin ng makina. Sinusukat nito ang pagkakatulad sa pagitan ng isang pagsasalin na ginawa ng makina at isa o higit pang mga pagsasalin ng sanggunian. Sa konteksto ng isang custom na modelo ng pagsasalin na sinanay sa AutoML Translation, ang marka ng BLEU ay maaaring magbigay ng mahahalagang insight sa kalidad at pagiging epektibo ng output ng modelo.
Upang maunawaan kung paano ginagamit ang marka ng BLEU, mahalagang maunawaan muna ang mga kalakip na konsepto. Ang BLEU ay nakatayo para sa Bilingual Evaluation Understudy, at ito ay binuo bilang isang paraan upang awtomatikong suriin ang kalidad ng mga pagsasalin ng makina sa pamamagitan ng paghahambing sa mga ito sa mga pagsasalin ng sanggunian na binuo ng tao. Ang marka ay mula 0 hanggang 1, na may mas mataas na marka na nagpapahiwatig ng mas mahusay na pagsasalin.
Ang AutoML Translation ay isang mahusay na tool na inaalok ng Google Cloud AI Platform na nagbibigay-daan sa mga user na magsanay ng mga custom na modelo ng pagsasalin gamit ang kanilang sariling data. Kapag nasanay na ang modelo, maaari itong magamit upang makabuo ng mga pagsasalin para sa bagong input text. Ang marka ng BLEU ay maaaring gamitin upang masuri ang kalidad ng mga pagsasaling ito.
Upang kalkulahin ang marka ng BLEU, ang mga pagsasalin na binuo ng modelo ay inihahambing sa isa o higit pang mga pagsasalin ng sanggunian. Ang paghahambing ay batay sa n-grams, na magkadikit na pagkakasunod-sunod ng n salita. Isinasaalang-alang ng marka ng BLEU hindi lamang ang katumpakan ng mga n-gram sa pagsasalin na binuo ng modelo kundi pati na rin ang kanilang presensya sa mga pagsasalin ng sanggunian. Nakakatulong ito na makuha ang parehong kasapatan at katatasan ng mga pagsasalin.
Ilarawan natin ito sa isang halimbawa. Ipagpalagay na mayroon tayong reference na pagsasalin: "Ang pusa ay nakaupo sa banig." At ang modelo ay bumubuo ng sumusunod na pagsasalin: "Ang pusa ay nakaupo sa banig." Maaari nating hatiin ang mga pangungusap na ito sa n-grams:
Sanggunian: ["The", "cat", "is", "sitting", "on", "the", "mat"] Model: ["The", "cat", "sits", "on", "ang", "banig"]
Sa kasong ito, wastong isinasalin ng modelo ang karamihan sa mga n-gramo, ngunit nakakaligtaan nito ang pandiwang panahunan ("ay" vs. "nakaupo"). Ipapakita ito ng marka ng BLEU sa pamamagitan ng pagtatalaga ng mas mababang marka sa pagsasalin.
Ang marka ng BLEU ay maaaring kalkulahin gamit ang iba't ibang paraan, tulad ng binagong katumpakan at kaiklian ng parusa. Isinasaalang-alang ng binagong katumpakan ang katotohanan na ang isang pagsasalin ay maaaring maglaman ng maraming paglitaw ng isang n-gram, habang ang parusa sa kaiklian ay nagpaparusa sa mga pagsasaling mas maikli kaysa sa mga pagsasalin ng sanggunian.
Sa pamamagitan ng pagsusuri sa marka ng BLEU ng isang custom na modelo ng pagsasalin na sinanay sa AutoML Translation, maaaring makakuha ang mga user ng mga insight sa performance ng modelo at matukoy ang mga lugar para sa pagpapabuti. Maaari nilang ihambing ang mga marka ng BLEU ng iba't ibang modelo o pag-ulit upang subaybayan ang pag-unlad at gumawa ng matalinong mga desisyon tungkol sa pagpili ng modelo o pag-fine-tuning.
Ang marka ng BLEU ay isang mahalagang sukatan para sa pagsusuri sa pagganap ng mga custom na modelo ng pagsasalin na sinanay gamit ang AutoML Translation. Nagbibigay ito ng quantitative measure ng kalidad ng machine-generated translations sa pamamagitan ng paghahambing ng mga ito sa mga reference na pagsasalin. Sa pamamagitan ng pagsusuri sa marka ng BLEU, masusuri ng mga user ang pagiging epektibo ng kanilang mga modelo at makakagawa ng mga desisyong batay sa data upang mapahusay ang kalidad ng pagsasalin.
Iba pang kamakailang mga tanong at sagot tungkol sa Pagsasalin ng AutoML:
- Ano ang mga hakbang na kasangkot sa paggawa ng custom na modelo ng pagsasalin gamit ang AutoML Translation?
- Paano tinutulay ng AutoML Translation ang agwat sa pagitan ng mga generic na gawain sa pagsasalin at mga angkop na bokabularyo?
- Ano ang tungkulin ng AutoML Translation sa paggawa ng mga custom na modelo ng pagsasalin para sa mga partikular na domain?
- Paano magiging kapaki-pakinabang ang mga custom na modelo ng pagsasalin para sa espesyal na terminolohiya at konsepto sa machine learning at AI?