Berikut ini adalah postingan artikel kamus teknis bidang teknik teknologi Keinsinyuran yang menjelaskan tentang pembahasan pengertian, definisi, dan arti dari istilah kata tokenization berdasarkan dari berbagai jenis macam sumber (referensi) relevan, terkait, serta terpercaya yang sudah Kami rangkum dan kumpulkan.
Daftar isi konten:
Pengertian Tokenization
Baiklah, jadi, apa itu sebenarnya yang dimaksud dengan tokenization ini?
Berikut adalah penguraian pengertian dari kamus teknik teknologi Keinsinyuran.
Tokenisasi adalah tindakan memecah urutan string menjadi potongan -potongan seperti kata, kata kunci, frasa, simbol, dan elemen lain yang disebut token.
Token dapat berupa kata -kata, frasa atau bahkan seluruh kalimat secara keseluruhan.
Dalam proses tokenisasi, beberapa karakter seperti tanda baca dibuang.
Token menjadi input untuk proses lain seperti parsing dan penambangan teks.
Tokenisasi digunakan dalam ilmu komputer, di mana ia memainkan peran besar dalam proses analisis leksikal.www.keinsinyuran.com
Penjelasan dari Apa itu Pengertian, Arti, serta Contoh dari Istilah Tokenization
Untuk dapat lebih mendalami arti penjelasan serta maksud dari acronym atau kata tersebut di atas, kita semua tentunya juga harus memahami betul terkait penjelasan mengenai apa itu pengertian, makna, dan akronim, istilah, jargon, atau terminologi tokenization .
Di sini, perlu Kami jelaskan bahwa dalam menguraikan artinya sendiri, pasti kita harus mendasari penjelasannya dari sumber terkait, relevan, dan terpercaya, baik itu yang berasal situs engineering-dictionary ataupun kamus sejenis bidang teknik, teknologi, maupun secara langsung yang bersumber dari pengertian menurut para ahli dan pakar di bidangnya sebagai berikut.
Tokenisasi sebagian besar bergantung pada heuristik sederhana untuk memisahkan token dengan mengikuti beberapa langkah: Token atau kata -kata dipisahkan oleh spasi putih, tanda baca atau jeda garis Ruang putih atau tanda baca dapat atau mungkin tidak termasuk tergantung pada kebutuhan Semua karakter dalam string yang berdekatan adalah bagian dari token. Token dapat terdiri dari semua karakter alfa, karakter alfanumerik atau karakter numerik saja. Token sendiri juga bisa menjadi pemisah. Misalnya, dalam sebagian besar bahasa pemrograman, pengidentifikasi dapat ditempatkan bersama dengan operator aritmatika tanpa ruang putih. Meskipun tampaknya ini akan muncul sebagai satu kata atau token, tata bahasa bahasa sebenarnya menganggap operator matematika (token) sebagai pemisah, jadi bahkan ketika beberapa token dikumpulkan bersama, mereka masih dapat dipisahkan melalui matematika matematika operator.
Seperti yang dapat kita semua pahami, maksud definisi sendiri adalah sebuah limit, (a limitation) yang bermakna pembatas serta penerangan tentang apa itu arti suatu makna.
Definisi yang dimaksud di sini dapat diartikan dengan penguraian yang memberikan penggambaran, dan juga memberitahu akan sebuah pemaknaan, arti, ataupun karakteristik utama dari sesuatu baik itu, terkait prosesnya, kegiatannya, ataupun seseorang.
Seperti yang dapat Anda lihat pada bagian pengertiannya di atas, secara literal (makna harfiah atau aslinya), khususnya secara bahasa, kata “tokenization” ini diartikan sebagai “tokenisasi” dalam bahasa Indonesia.
Selain itu, istilah ini juga merupakan salah satu dari kumpulan kamus, akronim, istilah, jargon, atau terminologi dalam bidang teknik dan teknologi yang dimulai dengan awalan T, serta merupakan terms yang terkait dengan Software Development.
Arti Tokenization dalam Kamus Terjemahan Bahasa Indonesia dan Inggris
Selain membahas tentang pengertian dan penjelasan definisinya, untuk lebih memperluasnya di sini Kami juga akan membahas apa arti kata tokenization dalam kamus terjemahan bahasa Indonesia dan Inggris.
Agar lebih mudah untuk dipahami, di postingan khusus kamus ini Kami akan menguraikannya berupa tabel terjemahan bahasa Indonesia dan Inggris seperti yang dapat dilihat di bawah ini.
Jenis | Bahasa Indonesia | Bahasa Inggris |
Terminologi | tokenisasi | tokenization |
Kategori | pengembangan perangkat lunak | software development |
Penutup
Baiklah, di atas adalah penjelasan dan penguraian tentang apa itu arti dari akronim, istilah, jargon, atau terminologi tokenization.
Semoga kamus, glosarium, atau kumpulan istilah teknis bidang teknik teknologi yang sudah Kami bagikan di artikel ini dapat bermanfaat serta dapat menambah wawasan para pembaca.
Jangan lupa lihat juga penjelasan mengenai apa itu pengertian, makna, dan akronim, istilah, jargon, atau terminologi kata lainnya yang berhubungan dengan bidang Teknik dan Teknologi yang ada di laman kamus Keinsinyuran Kami.
Sumber (Referensi)
Glosarium Keinsinyuran ini dibuat berdasar dari simpulan arti definisi dari berbagai referensi terkait (relevan) yang Kami anggap terpercaya seperti Wikipedia, Oxford Technology Dictionary dan beberapa sumber lainnya. Kata Tokenization ini merupakan salah satu dari kumpulan istilah “Software Development” dalam bidang teknologi yang dimulai dengan T. Artikel kamus ini di-update pada bulan May tahun 2024.
- https://id.wikipedia.org/wiki/keinsinyuran
- https://id.wikipedia.org/wiki/teknik
- https://id.wikipedia.org/wiki/teknologi
- https://id.wikipedia.org/wiki/teknis
- https://id.wikipedia.org/w/index.php?search=tokenization
- https://www.oxfordreference.com/search?source=%2F10.1093%2Facref%2F9780199587438.001.0001%2Facref-9780199587438&q=tokenization
- Lihat contoh gambar tokenization melalui Google di sini
- Lihat contoh gambar tokenization di Bing di sini