· ☕ 1 min read
分かち書きフリーのNLPモデル https://gyazo.com/b528d46973abfaf5596a10d8b36ae12c Transformerベース 入力はASCII ASCIIだとでかすぎるので, hashingによって圧縮 トークンは文字 なので, 事前学習時にただ単にmaskingしてもうまく行かない tokenizeしてsub-wordごとにmasking 日本語での実装例 https://github.com/octanove/shiba 機械学習 https://arxiv.org/abs/2103.06874 ...