ข้ามไปที่เนื้อหาหลัก

ความสำคัญของชุดข้อมูลเปิดสาธารณะกับ Open Source ที่เพิ่มขึ้น

จากความเคลื่อนไหวในวงการ NLP ในหลายปีที่ผ่านมา ทั้ง OpenAI whisper กับ OpenAI ChatGPT, BERT และอื่น ๆ ยิ่งตอบย้ำถึงความสำคัญของชุดข้อมูลเปิดสาธารณะกับ Open Source ที่มีส่วนร่วมสำคัญอย่างยิ่งในการเปลี่ยนแปลงด้านเทคโนโลยีปัญญาประดิษฐ์ที่เกี่ยวข้องกับภาษามนุษย์ ทั้งด้านการพัฒนาแอปและงานวิจัยใหม่ ๆ ที่ผู้คนสามารถเข้าถึงได้จากทั่วโลก


ตัวอย่างเช่น OpenAI whisper โมเดลรู้จำเสียงกับแปลภาษาจากเสียงที่รองรับภาษาไทยด้วย จากที่นำชุดข้อมูล CommonVoice ซึ่งเป็นชุดข้อมูลเสียงพูดภาษาไทยแบบสาธารณะที่ใหญ่ที่สุด ณ ตอนนี้ (เพราะไม่มีชุดข้อมูลสาธารณะอื่น ๆ ที่มีภาษาไทยมากกว่านี้) นำมาเทรนโมเดล, OpenAI ChatGPT ที่ใช้ GPT 3.5 ซึ่งเก็บข้อมูลมาจากอินเทอร์เน็ต เว็บต่าง ๆ (รวมถึงวิกิพีเดียด้วย) ทำให้มีภาษาไทยด้วย, BERT multilingual base model (cased) จาก Google ที่เทรนบนข้อมูลวิกิพีเดีย 104 ภาษา ทำให้รองรับภาษาไทยด้วย, งาน XLM-RoBERTa, LASER และอื่น ๆ สิ่งเหล่านี้ต่างใช้งานชุดข้อมูลเปิดสาธารณะกับ Open Source ซึ่งจะเกิดขึ้นไม่ได้เลย หากขาดชุดข้อมูลเปิดสาธารณะ กับ Open Source เหล่านี้ สมมติถ้าไม่มีภาษาไทยในข้อมูลเปิดสาธารณะ และ Open Source เราอาจจะได้โมเดลที่ทำงานแย่ ทำงานได้ไม่ดีกับภาษาไทย หรือบางงานอาจจะไม่มีภาษาไทยเลยก็เป็นไปได้


อนาคตอาจจะมีงานใหม่ ๆ ที่ใช้ชุดข้อมูลเปิดสาธารณะ กับ Open Source ต่าง ๆ ในประเภทงานใหม่ ๆ ที่มีประสิทธิภาพมากกว่าเดิม ดังนั้น เรามาช่วยกันผลักดันชุดข้อมูลเปิดสาธารณะกับ Open Source ต่าง ๆ ที่เกี่ยวข้องกับภาษาไทยกันต่อไป

ชุดข้อมูล CommonVoice

วิกิพีเดีย

ความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

บรรณานุกรมกับ Zotero เรื่องน่าปวดหัวของนศ.มข.

เอาล่ะ ก่อนอื่นเรามาเริ่มที่บรรณานุกรม คืออะไร แบบย่อ ๆ บรรณานุกรมเป็นการอ้างอิงเอกสารหรือเอกสารอ่านเพิ่มเติมที่เรานำมาจัดทำรายงาน หนังสือ รวมไปถึงวิทยานิพนธ์ด้วย เป็นการอ้างอิงกันทางวิชาการถือเป็นเรื่องจำเป็นต้องทำและต้องมี ด้วยเหตุผลหลาย ๆ อย่าง

ฝึกงาน IST @ VISTEC : วันที่ 0 เข้าหอพัก

สวัสดีครับ ช่วงปิดเทอมของปี 2 ผมได้โอกาสไปฝึกงานกับ IST ที่ VISTEC ในโครงการ "IST Research Internship 2019"

เชื่อมต่อ kku-wifi-s ใน Linux (ใช้งานได้กับ Raspberry Pi)

สวัสดีครับ ผมได้ใช้ Raspberry Pi แต่ผมติดปัญหาที่ไม่สามารถเชื่อมต่อ kku-wifi-s  ได้ เนื่องจากการตั้งค่าที่เป็นปัญหา ทำให้ผมหาวิธีจนสามารถเชื่อมต่อ kku-wifi-s ได้ โดยทำตามวิธีดังนี้ครับ