اگر بدانید زبانی که با آن از هوش مصنوعی سؤال می کنید روی هزینهٔ آن اثر دارد، شاید دفعهٔ بعد طور دیگری بنویسید: کسانی که به فنلاندی یا زبان های کم کاربرد دیگر از هوش مصنوعی استفاده می کنند، ممکن است بیشتر از کاربران انگلیسی زبان یا زبان های پرکاربرد هزینه بدهند.

این را ائتلاف پژوهشی برابری زبانی در هوش مصنوعی (Tekoälyn kielitasa-arvon tutkimuskoalitio) می گوید و نشریهٔ رست آو د ورلد (Rest of the World) آن را گزارش کرده است.

توکن (token) چیست؟
مدل های زبانی هوش مصنوعی متن را به تکه های کوچکی به نام توکن می شکنند؛ یک توکن می تواند یک کلمه، بخشی از کلمه یا یک نشانه باشد. هزینه و سرعت این سرویس ها بر اساس شمار توکن ها حساب می شود، پس هرچه یک جمله توکن بیشتری بخورد، گران تر و کندتر است.

پژوهش چه نشان داد؟

به گفتهٔ این ائتلاف، مدل های زبانی هوش مصنوعی در زبان های کم کاربردتر به طور چشمگیری توکن بیشتری مصرف می کنند. برای نمونه، یک پیام یکسان به زبان مالایالام (Malayalam) ۲۶ توکن مصرف کرد، در حالی که همان پیام به انگلیسی ۱۳ توکن خورد.

نشریهٔ فنلاندی تیوی (Tivi) همین را میان فنلاندی و انگلیسی آزمایش کرد. در جملهٔ «در مدل زبانی نباید فرقی کند که از چه زبانی استفاده می شود»، تفاوت کمتر از زبانی بود که حروف دیگری دارد، اما باز هم وجود داشت: متن فنلاندی ۱۶ توکن و متن انگلیسی ۱۲ توکن مصرف کرد.

۱۶ در برابر ۱۲توکن: یک جمله به فنلاندی و انگلیسی (آزمون تیوی)
۱٫۵ تا ۵ برابرگران تر از انگلیسی، در میان ۲۰ زبان پرکاربرد دنیا
بیش از ۱۵ برابرتفاوت ممکن در میان ۲۰۰ زبان بزرگ دنیا

«مالیات توکنی» یعنی چه؟

پژوهشگران این پدیده را «مالیات توکن سازی» (tokenisaatiovero) می نامند. هرچه از پرکاربردترین زبان های دنیا به سوی زبان های کم کاربردتر برویم، این مالیات به شدت بالا می رود. در میان ۲۰ زبان پرکاربرد دنیا، زبان های گران تر ۱٫۵ تا ۵ برابر گران تر از انگلیسی و چینی ماندارین بودند. در میان ۲۰۰ زبان بزرگ دنیا، این تفاوت می تواند به بیش از ۱۵ برابر برسد.

پژوهشگران این مالیات را عاملی می دانند که کل اقتصاد هوش مصنوعی را محدود می کند. در گزارش پژوهش آمده است: «اثر مالیات توکن سازی از هزینه فراتر می رود. مصرف بیشتر توکن می تواند ارتباط را کندتر کند و کارایی هوش مصنوعی را پایین بیاورد. چنین محدودیت هایی بیشترین ضربه را به جاهایی می زنند که ارتباطات و توان محاسباتی از پیش محدود است.»

«برابری کامل احتمالاً واقع بینانه نیست، اما تفاوت های بزرگ و پایدار میان زبان ها نیاز به توضیح دارد.»

پراتیوش چودهوری (Pratyush Choudhury)، بنیان گذار یک صندوق سرمایه گذاری هوش مصنوعی در هند، از سازندگان مدل های زبانی می خواهد اعلام کنند انجام هر نوع کار در زبان های مختلف چقدر هزینه دارد.

📎این خبر از ایلتالهتی (Iltalehti) ترجمه شده است که در تاریخ ۱۷ آبان ۱۴۰۵ (۸ نوامبر ۲۰۲۶) منتشر شده بود.