Tam nastaly Robertovi velké problémy. Němečtí kolegové si z něho neustále utahovali kvůli jeho indiánskému původu. Například před jeho dveře pověsili obrázek afrického domorodce s kostí ve vlasech. Vrcholem všeho bylo, když zničili modlitební oltář, kam se Robert každý den chodil modlit, který dokonce rozjezdili koly svých aut.
Robert ke smějícím se kolegům kteří čekali na jeho reakci zakřičel: ,,Chováte se jak nacisti!" a napodobil nacistické hajlování.
Kolegové z řad liberálních umělců ho však zažalovali za propagaci nacizmu u soudu a soud ho shledal vinným. Roberta vyhodili z uměleckého sdružení i měl na mnoho let zákaz vstupu do vlastního ateliéru a bytu.
,,Je to směšné řekl Robert, je to jako obvinit černocha v Americe za to, že nosí bílé prostěradlo! Bylo by to k smíchu, kdyby to nebylo tak vážné."
Robert zůstal naprosto bez prostředků a žil jen díky prodeji svých uměleckých děl a majetku za pomocí svých přátel v USA. Nikdy jsem nežádat stát o podporu. Nikdo však nestojí o emigranta se záznamem v rejstříku trestů. Nemohl jsem si pronajmout byt a dlouhou dobu spal na gauči u kamaráda.
Nedávno, když němečtí aktivisté zařadili Vinnetoua za krajně rasistické dílo, naprosto nevhodné pro veřejnost, vystoupil právě tento Robert Packard a řekl:
,,Nikdy jsem ještě neviděl indiána, který by mluvil německy, ale já jako starý indián stojím na straně Vinnetoua!"
