"Děj příběhu začíná v malém krámku s obrazy, kam jednoho dne zavítá také malíř Čartkov. Je velmi chudý a kromě obnošeného kabátu a pár pláten a štětců nemá nic. Zaujme ho zde velmi zvláštní obraz starce v asijském plášti s "ďábelskýma" očima. Obraz koupí a odnáší si ho domů. Po pár dnech k němu vpadne domácí spolu se strážníkem a žádá po něm nájem. Malíř však stále opakuje, že žádné peníze nemá. V tom najednou z obrazu vypadne tisíc zlatých. Všichni jsou udivení, ale Čartkov na nic nečeká, zaplatí nájem a ihned se odstěhuje do přepychového domu plného krásných věcí.
Jeho chování se začne měnit v okamžiku, kdy se jeho jméno, jako jméno výborného malíře, objeví v novinách. Začnou ho navštěvovat bohatí lidé, kteří se nechávají vymalovat, on se objevuje na plesech a ve společnosti. Za nějaký čas si prohlíží své dřívější práce a jeho zrak padne právě na obraz starce, který kdysi koupil v krámku s obrazy. Pověsí si ho, ale to neměl dělat. Neustále musí na ten obraz myslet, až z toho zešílí a nakonec také zemře.
Po malířově smrti se pak koná aukce jeho věcí. Mezi nimi je také starcův portrét. Přítomní se předhání v jeho koupi, na poslední chvíli však vystoupí člověk, který se rozhodne vyprávět zvláštní příběh o muži z obrazu. Vypráví, že muž byl lichvář a přivedl do neštěstí mnoho lidí, z nichž postupně všichni zemřeli. Nechal se vymalovat vypravěčovým otcem a tento obraz si po jeho smrti lidé předávali doslova z ruky do ruky. Vždy se začali měnit, někteří z nich dokonce zešíleli nebo zemřeli. Když celý příběh dovyprávěl, chtěl si obraz odnést a zničit ho, aby nemohl páchat další zlo. Ale ten byl mezitím ukraden..."