Мне кажется, это делается как-то иначе. Ты вызываешь функцию из луа(k = f(x)), получаешь результат вызова сишной f через стек в луашную переменную k. Внутри сишной f ты делаешь что-то типа lua_state.push(some_var).