В png и jpg используется различный алгоритм сжатия картинки. Изначально все картинки, во всех форматах, это bmp - список пикселей с определением цвета каждого пикселя. Но такое представление занимает много места. Для оптимизации размера картинки применяют объединения пикселей, то есть в файле пишется некий список координат пикселей и единый цвет для этого списка. И вот именно принцип объединения пикселей в списки у png и jpg разный. Jpg изначально создавался для сохранения электронных фотографий, поэтому у него вообще нет поддержки прозрачного слоя - не было необходимости, нет поддержки анимации - не было такой задачи. Jpg плохо справляется с четкими границами цвета, если вы нарисуете красный круг, а поверх него синюю звезду и сохраните в jpg, то края звезды будут размытыми. Png создавался позднее, в нём постарались учесть все недостатки jpg, задача стояла не совсем такая, но по факту - png "лучше" чем jpg. Однако получилось не без проблем, именно для красочных фотографий или рисунков со множеством цветов и мелких подробностей - jpg бывает лучше и уж точно jpg в таком случае будет меньше весить, чем png.

Это если очень кратко. Так что, для каждого конкретного изображения jpg-png определяется индивидуально.