Токенизација стихова у процесу обуке обучавања АИ модела за стварање поезије користећи ТенсорФлов и НЛП технике служи неколико важних сврха. Токенизација је основни корак у обради природног језика (НЛП) који укључује разбијање текста на мање јединице које се називају токени. У контексту стихова, токенизација подразумева цепање текста