斯理和铁蛋故意拖延玉珍，希望查出他的来历，时数个日本杀手到来欲抢走玉屏风，双方大打出手，日本杀手胁持玉珍匆匆离去。日人山久与宋富暗中联手卖鸦片，宋富更趁老大等人离开而扩大势力。奇伟重回上海，白素对他讲述往事，告知他以往是个冒险家，生平有两个愿望，一是把巴黎铁塔搬来上海，二是在上海建立红磨坊夜总会。前者难以做到，故他在空闲时会雕刻铁塔模型，后者他开设大上海夜总会。白素带奇伟回夜总会，杜仲等人见到他大为高兴，但宋富却另有打算。

斯理得知白素回上海，更知奇伟未死，众人谓他俩的心病应可解除，叫斯理找白素去，但斯理口硬，不肯先行一步，而白素虽心系斯理，亦放不下面子拒找斯理。奇伟回家后，性情大变，比以前更温和，宋富对他非常忌惮，与山久密谋杀害他。

奇伟对过去又好奇又担心，独自四出散步，希望找到线索，突然被日本杀手伏击，危急之际，幸得斯理出手相助，但奇伟完全记不起斯理，斯理愕然。斯理带奇伟回家疗伤，红红测试奇伟，发现奇伟真的失忆，告知因他的失踪，令斯理和白素分手，更话以前的他是个目中无人的人，奇伟感慨。奇伟在夜总会发现宋富私卖鸦片，大为震怒，勒令他停止非法勾当。奇伟觉得以往的自己也许是个坏人，宁愿做苗寨的木头，与世无争。