桜の名所の「吉野」と「よし=かまわない」を掛けたしゃれで、ご当地のもう一つの名産の葛粉を付けています。かまわないからほっておいてくれ、の意味。
「吉野葛」の代わりに「吉野木」とも。どちらも出典は明和7年(1770)刊の洒落本『遊子方言』なので、出自は遊里からでしょう。もっとおどけて「おっとよしの木かしわの木さるすべり」と言うことも。「吉野」が付くことばは無数にあるので、類似の言い回しはもっと多いかも知れません。吉野の縁では、「青菜」の「義経にしておけ」も同意。「かまわず」のしゃれの方は、上野の不忍池をもじった「かまわずの池」があります。