20170904: Mike E. and team working overall OOM-5 for DCAE

root@obriensystemskub0:~/oom-20170828/oom/kubernetes/oneclick# kubectl -n onap-dcae describe pods kafka-4107733568-0mqx2
Name:        kafka-4107733568-0mqx2
Namespace:    onap-dcae
Node:        obriensystemskub0/172.17.0.1
Start Time:    Mon, 28 Aug 2017 15:43:11 -0400
Labels:        app=kafka
        pod-template-hash=4107733568
Annotations:    kubernetes.io/created-by={"kind":"SerializedReference","apiVersion":"v1","reference":{"kind":"ReplicaSet","namespace":"onap-dcae","name":"kafka-4107733568","uid":"2011d9b1-8c29-11e7-a86c-024c8153e506"...
Status:        Running
IP:        10.42.208.16
Created By:    ReplicaSet/kafka-4107733568
Controlled By:    ReplicaSet/kafka-4107733568
Containers:
  kafka:
    Container ID:    docker://16c0eca3fc855a2711cd5c9f26fbdb2aaff291d220546d1cb7afb1ab0311a75f
    Image:        wurstmeister/kafka:latest
    Image ID:        docker-pullable://wurstmeister/kafka@sha256:94da87bd43efcdf773c964c3e4798263e9f75c5c26a36324077710f0f8ed655b
    Port:        9092/TCP
    State:        Waiting
      Reason:        CrashLoopBackOff
    Last State:        Terminated
      Reason:        Error
      Exit Code:    127
      Started:        Mon, 28 Aug 2017 15:49:12 -0400
      Finished:        Mon, 28 Aug 2017 15:49:12 -0400
    Ready:        False
    Restart Count:    6
    Environment:
      KAFKA_ZOOKEEPER_CONNECT:        zookeeper.onap-dcae.svc.cluster.local:2181
      KAFKA_ADVERTISED_HOST_NAME:    kafka
      KAFKA_ADVERTISED_PORT:        9092
      KAFKA_BROKER_ID:            1
      KAFKA_PORT:            9092
      KAFKA_VERSION:            0.8.1.1
      SCALA_VERSION:            2.9.2
      KAFKA_HOME:            /opt/kafka_2.9.2-0.8.1.1
      PATH:                /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/opt/jdk/bin
      JAVA_VERSION_MAJOR:        8
      JAVA_VERSION_MINOR:        121
      JAVA_VERSION_BUILD:        13
      JAVA_VERSION_MINOR:        121
      JAVA_PACKAGE:            server-jre
      JAVA_JCE:                standard
      JAVA_HOME:            /opt/jdk
      GLIBC_VERSION:            2.23-r3
      LANG:                C.UTF-8
    Mounts:
      /kafka from kafka-data (rw)
      /var/run/docker.sock from docker-socket (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qg7dd (ro)
Conditions:
  Type        Status
  Initialized     True
  Ready     False
  PodScheduled     True
Volumes:
  docker-socket:
    Type:    HostPath (bare host directory volume)
    Path:    /var/run/docker.sock
  kafka-data:
    Type:    HostPath (bare host directory volume)
    Path:    /dockerdata-nfs/onap/dcae/message-router/kafka/data-kafka
  default-token-qg7dd:
    Type:    Secret (a volume populated by a Secret)
    SecretName:    default-token-qg7dd
    Optional:    false
QoS Class:    BestEffort
Node-Selectors:    <none>
Tolerations:    node.alpha.kubernetes.io/notReady:NoExecute for 300s
        node.alpha.kubernetes.io/unreachable:NoExecute for 300s
Events:
  FirstSeen    LastSeen    Count    From                SubObjectPath        Type        Reason            Message
  ---------    --------    -----    ----                -------------        --------    ------            -------
  9m        9m        1    default-scheduler                    Normal        Scheduled        Successfully assigned kafka-4107733568-0mqx2 to obriensystemskub0
  9m        9m        1    kubelet, obriensystemskub0                Normal        SuccessfulMountVolume    MountVolume.SetUp succeeded for volume "kafka-data"
  9m        9m        1    kubelet, obriensystemskub0                Normal        SuccessfulMountVolume    MountVolume.SetUp succeeded for volume "docker-socket"
  9m        9m        1    kubelet, obriensystemskub0                Normal        SuccessfulMountVolume    MountVolume.SetUp succeeded for volume "default-token-qg7dd"
  8m        3m        7    kubelet, obriensystemskub0    spec.containers{kafka}    Normal        Pulled            Container image "wurstmeister/kafka:latest" already present on machine
  8m        3m        7    kubelet, obriensystemskub0    spec.containers{kafka}    Normal        Created            Created container
  8m        3m        7    kubelet, obriensystemskub0    spec.containers{kafka}    Normal        Started            Started container
  9m        4s        56    kubelet, obriensystemskub0                Warning        DNSSearchForming    Search Line limits were exceeded, some dns names have been omitted, the applied search line is: onap-dcae.svc.cluster.local svc.cluster.local cluster.local kubelet.kubernetes.rancher.internal kubernetes.rancher.internal rancher.internal
  8m        4s        41    kubelet, obriensystemskub0    spec.containers{kafka}    Warning        BackOff            Back-off restarting failed container
  8m        4s        41    kubelet, obriensystemskub0                Warning        FailedSync        Error syncing pod